X-Robots-Tag – это серверный заголовок HTTP, который используется для управления индексацией и обработкой веб-страниц поисковыми движками и другими средствами, обрабатывающими контент.
