SRE

Безопасность; Интернет; Сеть

Standart for Robot Exclusion

Стандарт, описывающий протокол для установки запрета на индексацию роботами отдельных частей содержимого веб-серверов. Данный стандарт реализуется на основе текстового файла robots.txt, позволяющего указать страницы сайта, индексация которых роботами нежелательна.