X-Robots-Tag для PDF: как закрыть не-HTML файл от индексации

PDF не содержит HTML head, поэтому обычный meta robots вставить некуда. Управляющая директива должна прийти вместе с HTTP response headers.

Отправляйте правило в заголовке

X-Robots-Tag с noindex подходит для PDF, изображений, видео и других файлов, где нет надежного места для HTML meta tag. Сервер решает задачу.

Настройте нужную маску

Правило можно добавить по расширению, каталогу или конкретному location, но сначала проверьте, что соседние публичные документы не попадают под слишком широкое условие. Масштаб опасен.

Разрешите crawler прочитать ответ

Если URL одновременно запрещен в robots.txt, Googlebot не получит файл и не увидит X-Robots-Tag, поэтому адрес способен остаться в поиске. Откройте обход.

Запросите файл через curl без браузерного cache, проверьте заголовок на конечном URL после всех редиректов и только затем отправляйте адрес на повторный обход в Search Console.

Конфликт доступа объясняет статья про robots.txt и noindex. Источник: Google Search Central.