503 и 429 для Googlebot: как временно замедлить обход без потери URL

Googlebot перегружает сервер во время аварии, и ответы начинают тормозить для всех. Временный 503 или 429 просит crawler снизить скорость повторных запросов.

Используйте только в аварии

Код unavailable подходит для краткого периода перегрузки, пока команда расширяет capacity, убирает тяжелый endpoint или исправляет бесконечное пространство URL. Это тормоз, не настройка.

Остановитесь вовремя

Google рекомендует прекратить такие ответы после снижения crawl rate, поскольку 503 или 429 дольше двух дней способны привести к удалению URL из индекса. Риск реальный.

Отделяйте verified Googlebot

Проверьте источник запросов, server logs, latency и response distribution, прежде чем вводить отдельное поведение для crawler или закрывать весь сайт общей защитой. Мониторьте восстановление.

Зафиксируйте время первого unavailable ответа и поставьте короткий контрольный интервал для отмены режима. После восстановления проверьте crawl rate, ошибки индексации и доступность важных URL обычным пользователям.

Приоритеты обхода объясняет материал про краулинговый бюджет. Источник: Google Search Central.