IZEKBot
IZEKBot обходит открытые страницы, находит новые материалы и обновляет индекс. В поиск попадают самостоятельные полезные документы, а не технические варианты одного URL.
User-Agent
Mozilla/5.0 (compatible; IZEKBot; +https://izek.ru/bot.php)robots.txtУчитывается
SitemapПоддерживается
ФормыPOST не отправляется
Что не попадает в поиск
Робот отсеивает внутренний поиск сайта, фильтры, сортировки, служебные действия, параметры сессий и рекламные метки. Страницы пагинации могут открываться для поиска следующих материалов, но сами обычно не индексируются.
Управление обходом
Используйте robots.txt, noindex, nofollow, canonical и sitemap. В Вебмастере видны URL, ошибки и состояние переобхода.