robots.txt и noindex: почему закрытая страница остается в поиске

Страницу закрыли в robots.txt и добавили noindex, но адрес все еще показывается. Робот не может прочитать директиву внутри запрещенного документа.

Дайте crawler увидеть noindex

Временно разрешите обход URL и отдайте meta robots либо X-Robots-Tag с noindex в доступном ответе, который не требует cookie, JavaScript или отдельной авторизации. После повторного посещения поисковик сможет исключить документ.

Разделяйте обход и индекс

robots.txt управляет запросами crawler к пути, а noindex касается присутствия страницы в результатах после чтения ответа и обработки доступных поисковику директив. Ссылка на закрытый URL может оставить адрес без сниппета.

Выберите постоянное состояние

Удаленный документ должен вернуть 404 или 410, приватный потребует авторизации, а технический раздел можно запретить для экономии обхода. Один рецепт здесь ломает разные задачи.

Проверьте URL Inspection, HTTP status и исходный HTML одним запросом без cookie, обхода защиты и сохраненной сессии администратора в браузере. Зафиксируйте требуемый результат для пользователя и робота, затем оставьте только совместимые директивы.

Сводная схема есть в материале про robots.txt и noindex. Поведение метатегов объясняет Google Search Central.