1. "Поисковой робот" - представляет собой часть программного обеспечения, из поисковой системы, которая настроена на прохождение каждой страницы Вашего сайта, чтобы классифицировать его и поместить в базу данных.
2. Google имеет три хорошо известных робота: Adsense бот, Freshbot и DeepCrawl.
Adsense бот, как вы, вероятно, могли догадаться, используется для издателей, которые публикуют объявления Adsense на своих сайтах. Как только для новой страницы будет создан JavaScript в пределах кода, Adsense посылает сообщение Adsense роботу, который придет на сайт в течение 15 минут, чтобы проиндексировать страницы для дальнейшего обслуживания самых релевантных объявлений.
Freshbot сканирует наиболее популярные страницы на веб-сайте. Неважно, одна это страница или тысячи. Такие сайты, как Amazon.com и CNN.com имеют страницы, которые сканируются каждые десять минут, так как Google известно, как часто они обновляются. Типичный сайт должен рассчитывать на посещение freshbot в среднем примерно каждые 14 дней, в зависимости от количества популярных страниц.
Что происходит на вашем сайт во время визита Freshbot? Он находит все глубокие ссылки на ваш сайт. Он ставит эти ссылки в базу данных для того, чтобы DeepCrawl во время своего визита мог свободно по ним передвигаться.
Раз в месяц ваш сайт посещает DeepCrawl. Он переходит по всем найденным ссылкам. Именно по этой причине индексация всего вашего сайта в Google может занять время до одного месяца, даже при условии добавления Google Sitemap.
Так что, будьте терпеливы в ожидании добавления содержимого вашего сайта в индекс Google, а также работайте над получением ценных ссылок на ваш сайт.
Автор: Пол Блисс
Перевод: Кира Романова
