Disallow - директива закрывающая доступ поисковых роботов к определенным документам/разделам сайта. Директива используется в файле robots.txt. На странице собраны ответы Google касающиеся disallow.
Можно использовать noindex или disallow для URL лицензии в Google Картинках
Некоторые сайты могут создавать уникальный URL-адрес лицензии для каждого изображения (если эти изображения имеют разные метаданные) хотя это не обязательно. Исполнение может отличаться в зависимости от CMS сайта, но всегда можно закрыть такие станицы от индексации через noindex и robots.txt и по-прежнему получать значок Licensable в поиске Google Картинки.
Если robots.txt временно выдаёт ошибку сервера, Google не будет сканировать сайт
Если файл robots.txt в течении короткого промежутка времени возвращает код ответа сервера с ошибкой, то Google не будет сканировать сайт пока снова не получит к нему доступ. Пока robots.txt недоступен, Google считает что в нем закрыт от сканирования весь сайт и уведомляет об этом в Search Console. Вы можете посмотреть запрос к файлу robots.txt в лог-файлах, чтобы понять как и когда это произошло, а также посмотреть код ответа сервера на каждый запрос Google.
Закрытые от сканирования страницы с входящими ссылками могут быть проиндексированы Google
Страницы, закрытые в файле robots.txt, не могут сканироваться роботом Googlebot. Однако, если на такие страницы есть ссылки, Google может посчитать что страницу стоит проиндексировать (даже несмотря на то, что она не может сканироваться).
Хочешь больше крутых материалов, разбор своего сайта или доступ к уникальным приватным сервисам?
Тогда присоединяйся к моему закрытому клубу.