crawling style indexing

Интернет

Способ работы поисковых роботов, при котором они сначала индексируют файл index.[расширение], после чего определяют дерево сайта по ссылкам, обнаруженным в файле index.[расширение].