unavailable_after: как убрать временную страницу из Google по расписанию

Страница трансляции полезна до окончания события, а затем не должна оставаться в выдаче. Для такого сценария существует временная robots directive.

Укажите точный момент

Unavailable_after сообщает Google не показывать страницу после заданной даты и времени в понятном формате, желательно с явным часовым поясом. Срок должен быть однозначным.

Выберите место правила

HTML получает значение в robots meta, а другой поддерживаемый файл может передать его через X-Robots-Tag HTTP header. Не ставьте directive в robots.txt.

Не заменяйте удаление

Правило управляет показом в Google после повторного обхода, но не стирает файл и не защищает доступ, поэтому окончательно удаленный ресурс должен вернуть подходящий status. Разделяйте задачи.

Проверьте синтаксис и timezone на тестовом URL, оставьте страницу доступной crawler до чтения directive и предусмотрите 404 либо обновленный архив после события.

Удаление ресурса раскрывает статья про 404 или 410. Источник: Google Search Central.