IZEKBot
IZEKBot обходит доступные страницы, обновляет сведения о них и находит новые ссылки. Номер версии в User-Agent не передаётся.
User-Agent
Mozilla/5.0 (compatible; IZEKBot; +https://izek.ru/bot)robots.txtУчитывается
SitemapПоддерживается
Отправка формНе выполняется
Управление обходом
Используйте robots.txt, noindex, nofollow, canonical и sitemap. Параметры сессий, рекламные метки, внутренний поиск и бесконечные фильтры автоматически отсеиваются.
Как проверить робота
Запросы приходят с указанным User-Agent. Для надёжной проверки не полагайтесь только на слово IZEKBot: сверяйте сетевой адрес по правилам вашей инфраструктуры и ограничивайте частоту на уровне сервера.