IZEKBot
IZEKBot — поисковый робот IZEK. Он читает доступные без авторизации страницы, учитывает правила сайта и решает, какие URL полезно добавить в поиск.
IZEKBot/1.0 (+https://izek.ru/bot)Как увидеть IZEKBot в статистике сайта
Робот делает прямые HTTP-запросы и не исполняет JavaScript-счётчики посещаемости. Поэтому его надёжнее определять в access-log веб-сервера по IZEKBot, а также по заголовкам X-IZEK-Bot: crawler и X-IZEK-Bot-Info. Системы аналитики могут отдельно распознавать или отфильтровывать роботный трафик — это не означает, что обход не выполнялся.
Как робот выбирает страницы
IZEKBot начинает с основных страниц сайта, затем постепенно открывает внутренние ссылки и Sitemap. В поиск попадают не все найденные URL: страница должна быть доступной, индексируемой и содержать самостоятельную полезную информацию. Служебные страницы, фильтры, дубли, пустые URL, noindex и удалённые страницы могут быть исключены.
Как управлять обходом
Используйте стандартный robots.txt, noindex, X-Robots-Tag, canonical и Sitemap. Чтобы полностью запретить IZEKBot, добавьте отдельную группу User-agent: IZEKBot с Disallow: /. Для важных страниц указывайте корректный canonical и включайте их в Sitemap.
Почему страница не попала в поиск
Для подтверждённого сайта причины видны в Вебмастере на вкладке «Не добавлено». Там показываются HTTP-статус, причина исключения и время последней проверки. После исправления страницы можно запросить переобход.
Если сайт обходится неправильно
- Проверьте, что нужный URL открывается без входа и возвращает
200 OK. - Проверьте
robots.txt,noindex, canonical и Sitemap. - Подтвердите сайт в Вебмастере и посмотрите диагностику.
- После исправлений запросите переобход.