Поисковый робот

Программный модуль поисковой системы, осуществляющий обход интернет-сайтов с целью сканирования нового контента и получения информации о созданных страницах. Все полученные сведения отправляются на вычислительные сервера ПС для дальнейшего анализа и занесения в базу. При изучении веб-ресурсов поисковый робот руководствуется инструкциями из файла robots.txt




Более полное описание в данный момент отсутствует…
В связи с большим потоком информации мы не можем сейчас предоставить Вам расширенный текст данного определения. Однако, специалисты уже работают над решением данной проблемы… Если вы хотите помочь в развитии ресурса, напишите уникальный текст (копипасты не принимаются) и отправьте его нам через раздел «Рассказать!»


Посетите страницу чуть позже.
Администрация проекта уже работает над более полной расшифровкой и SEO пояснением данного определения.