Рассылка
SEO Инсайды Disallow

Google про disallow

Disallow - директива закрывающая доступ поисковых роботов к определенным документам/разделам сайта. Директива используется в файле robots.txt. На странице собраны ответы Google касающиеся disallow.

Можно использовать noindex или disallow для URL лицензии в Google Картинках

Некоторые сайты могут создавать уникальный URL-адрес лицензии для каждого изображения (если эти изображения имеют разные метаданные) хотя это не обязательно. Исполнение может отличаться в зависимости от CMS сайта, но всегда можно закрыть такие станицы от индексации через noindex и robots.txt и по-прежнему получать значок Licensable в поиске Google Картинки.

2020-04-14
Джон Мюллер, Google

Если robots.txt временно выдаёт ошибку сервера, Google не будет сканировать сайт

Если файл robots.txt в течении короткого промежутка времени возвращает код ответа сервера с ошибкой, то Google не будет сканировать сайт пока снова не получит к нему доступ. Пока robots.txt недоступен, Google считает что в нем закрыт от сканирования весь сайт и уведомляет об этом в Search Console. Вы можете посмотреть запрос к файлу robots.txt в лог-файлах, чтобы понять как и когда это произошло, а также посмотреть код ответа сервера на каждый запрос Google.

2020-01-31
Джон Мюллер, Google

Закрытые от сканирования страницы с входящими ссылками могут быть проиндексированы Google

Страницы, закрытые в файле robots.txt, не могут сканироваться роботом Googlebot. Однако, если на такие страницы есть ссылки, Google может посчитать что страницу стоит проиндексировать (даже несмотря на то, что она не может сканироваться).

2019-07-09
Джон Мюллер, Google