Telegram-канал
Краулинговый бюджет - это ограничение в количестве сканируемых ресурсов сайта за один обход роботом поисковой системы. На странице собраны ответы Google касающиеся краулингового бюджета. Также в блоге есть подробный гайд на тему работы с краулинговым бюджетом.
Ресурсы, используемые на страницах, включены в краулинговый бюджет Google
Ресурсы, которые нужны Google для отображения страниц, включены в краулинговый бюджет и отображены в данных статистики сканирования в Search Console.
JavaScript редиректы тратят больше времени Google, чем 301 редиректы
Обработка JavaScript редиректов занимает больше времени чем обработка 301 редиректов, так как требует обработки кода JavaScript.
Google может увеличить частоту сканирования сайта, если заметит что его структура изменилась
Если вы удалите значительную часть страниц, и при сканировании сайта Google обнаружит большое число страниц с 404 ответом сервера, то он может решить что структура вашего сайта изменилась. Это может привести к тому что Google станет чаще сканировать сайт чтобы понять какие изменения произошли.
Для определения своего краулингового бюджета воспользуйтесь данными Search Console и логов сервера
Есть два аспекта, которые позволят вам понять свой краулинговый бюджет сайта.
Первый касается скорости, с которой Google смог загрузить страницы сайта (информация об этом есть в Search Console). Если она высокая, то значит Google просканировал всё что мог (хотя, возможно, пропустил некоторые страницы).
Второй касается ошибок сервера и их влияния на сканирование сайта. Изучение логов сервера позволяет понять, появляются ли такие ошибки.
Исключенные страницы в Search Console будут сканироваться и дальше
Страницы, исключенные в Search Console, будут сканироваться Googlebot и дальше, а также учитываются при расчете краулингового бюджета. Однако другие страницы, открытые для индексации, будут иметь больший приоритет для сканирования (если ваш краулинговый бюджет не позволяет обойти все сразу).
Редиректы могут повлиять на краулинговый бюджет сайта
Если на сайте много редиректов, то это может сказаться на краулинговом бюджете. В этом случае Google обнаружит, что URL-адреса извлекаются дольше, и ограничит количество одновременных запросов к сайту, чтобы не возникло проблем с сервером (то есть чтобы его не положить).
