Краулинговый бюджет Google: когда сайту правда нужно им управлять

На сайте пятьсот страниц, а команда уже оптимизирует crawl budget. Для такого масштаба проблема почти наверняка находится в другом месте.

Проверьте, нужен ли этот проект

Google связывает управление бюджетом прежде всего с крупными ресурсами, быстро меняющимися каталогами и сайтами, где значительная доля URL долго остается необойденной. Обычному блогу важнее доступность страниц.

Уберите бесконечные пространства

Фильтры, календарные комбинации, параметры сортировки и внутренний поиск способны создать миллионы адресов без новой ценности на каждом уровне каталога и для каждого города. Закройте устойчивые ловушки правилами robots.txt и исправьте генерацию ссылок.

Не дергайте robots.txt каждый день

Постоянное открытие и закрытие каталогов не перераспределяет обход предсказуемо и мешает отличить результат настройки от обычного изменения активности робота за неделю. Сначала сравните server logs, отчет Crawl stats и даты последнего посещения коммерчески важных URL.

Возьмите месяц логов и выделите Googlebot по верифицированным адресам. Если ценные страницы обходятся регулярно, оставьте бюджет в покое и чините качество, архитектуру или внутренние ссылки.

Базовые директивы собраны в материале про индексацию сайта. Критерии для крупных ресурсов приводит Google Search Central.