Crawl Stats в Search Console: как читать Host status и ответы сервера

Число запросов Googlebot резко упало за два дня. Без контекста это похоже на потерю интереса, хотя сервер одновременно начал отвечать медленнее.

Начните с Host status

Отчет объединяет доступность robots.txt, DNS resolution и server connectivity, поэтому красный сигнал помогает быстро отделить инфраструктурный сбой от обычного изменения crawl demand. Смотрите время.

Разберите типы ответов

Доли 200, redirect, client errors и server errors считаются по запросам, а не по уникальным URL, поэтому повторное посещение влияет на процент. Это важно.

Сверяйте примеры с логами

Список адресов в интерфейсе остается выборкой, тогда как server logs показывают полный путь, user agent, время ответа и повторяемость конкретной ошибки. Источник глубже.

Наложите график response time и server errors на журнал релизов, нагрузку базы и сбои CDN, чтобы найти событие, после которого Googlebot действительно снизил темп.

Приоритеты обхода объясняет статья про crawl budget. Источник: справка Search Console.