Проверка Googlebot: почему User-Agent недостаточно для белого списка

Firewall доверяет любому запросу со строкой Googlebot. Подменить User-Agent очень легко, поэтому правило открывает сайт постороннему crawler без проверки.

Не верьте одному имени

HTTP User-Agent сообщает заявленную роль клиента, но не доказывает происхождение соединения, поскольку отправитель свободно меняет строку. Нужна проверка.

Сопоставьте опубликованные диапазоны

Автоматический фильтр может регулярно получать официальные JSON-списки адресов Google и проверять исходный IP без ручного копирования устаревших сетей. Обновление обязательно.

Используйте двойной DNS

Альтернативный путь делает reverse lookup, проверяет разрешенный домен имени, затем forward lookup должен вернуть исходный IP. Одного шага мало.

Возьмите несколько запросов из access log, проверьте их обоими методами и только после совпадения меняйте rate limit или firewall, сохраняя запись решения.

Нагрузка crawler связана со статьей про Crawl Stats. Источник: Google Search Central.