IZEKBot
IZEKBot обходит публичные страницы, чтобы находить новые URL и обновлять поисковый индекс IZEK Search.
User-Agent
IZEKBot/1.7.1 (+https://izek.ru/bot.php)robots.txtУчитывается
SitemapПоддерживается
HTML directivesnoindex / nofollow / canonical
Как управлять обходом
Используйте стандартный файл robots.txt для управления доступом робота. Для отдельной страницы можно использовать метатеги noindex и nofollow. Sitemap помогает роботу быстрее обнаружить страницы сайта.
Вебмастер
После подтверждения владения доменом в панели Вебмастера можно видеть найденные URL, страницы с noindex, HTTP-ошибки, очередь и время последнего обхода.
Нагрузка
Робот использует задержку между запросами и индивидуальные лимиты сайта. Владелец сервиса может дополнительно менять crawl delay и лимиты обхода в панели управления.