Wildcards в robots.txt: как работают звездочка, знак доллара и длинное правило

Правило для расширения неожиданно блокирует URL с параметром после него. Без конечного ограничителя шаблон совпадает с более длинным продолжением пути.

Различайте два символа

Звездочка соответствует любому количеству допустимых символов, а доллар фиксирует конец URL, помогая надежно отделить точное окончание от продолжения пути. Смысл разный.

Сравнивайте весь путь

Google сопоставляет Allow и Disallow с path вместе с query string, поэтому параметры тоже способны изменить результат проверки. Хост в правило не вставляют.

Помните о конкретности

При нескольких совпадениях применяется правило с самым длинным путем, а равные конфликтующие варианты разрешаются в пользу наименее ограничивающего. Тестируйте примеры.

Составьте таблицу реальных URL с параметрами, вычислите ожидаемое совпадение для каждого шаблона и проверьте результат до загрузки файла на рабочий домен.

Расположение файла описывает статья про адрес robots.txt. Источник: Google Crawling Infrastructure.