X-Robot-Tag - это заголовок ответа сервера, обладающий теми же возможностями что и тег meta name=robots. Но, в отличие от мета-тега он позволяет настраивать индексацию и обход ссылок в файлах (например, PDF). На странице собраны ответы Google касающиеся X-Robot-Tag.
Изменения nofollow для содержимого PDF такие же как и для HTML-страниц
Вы можете указать noindex для PDF-файла с помощью заголовка X-Robots-Tag вместе с любыми другими тегами в этом заголовке. Nofollow будет работать как обычно и Google не будет рассматривать ссылки документа как важные. Однако, nofollow не гарантирует что страницы на которые ссылается файл отнажды не увидит Google, ведь на эти страницы могут ссылаться и другие сайты.
X-Robots-Tag содержащий Nofollow не остановит Google при редиректе
HTTP-заголовок X-Robots-Tag с Nofollow не помешает Google осуществить переход при редиректе, поскольку Google даже не получит содержание страницы, а значит и не увидит ссылок к которым можно было бы применить это правило.
А мы создали закрытый SEO-клуб..
В нем доступны крутые уникальные инструменты и ещё много чего.
