robots.txt недоступен: как Google ведет себя при 404 и 5xx

Во время релиза robots.txt начал отвечать server error. Googlebot не может безопасно определить разрешенные пути и меняет режим обхода всего хоста.

Не бойтесь честного отсутствия

Большинство ответов 4xx, кроме ограничения частоты, трактуются как отсутствие файла и означают, что специальных запретов обхода нет. Это предсказуемо.

Исправляйте 5xx сразу

При server errors Google временно останавливает crawl, продолжает запрашивать файл и затем может использовать последнюю удачную копию правил в течение длительного периода. Риск широкий.

Не защищайте файл авторизацией

Проверка cookie, WAF challenge, нестабильный DNS или оборванное соединение превращают простой текстовый ресурс в проблему доступности для всего сайта. Упростите выдачу.

Добавьте отдельный мониторинг точного URL robots.txt из внешней сети, сохраняйте status и body каждого сбоя и сопоставляйте время ошибки с Host status в Crawl Stats.

Нагрузку сервера дополняет статья про 503 и 429 для Googlebot. Источник: документация Google.