SiteVisorBot — наш поисковый обходчик

Как бот представляется

Единственная строка User-Agent, с которой ходят все наши инструменты. Других мы не используем и чужими именами не представляемся.

Достаточно этой подстроки, чтобы написать правило в robots.txt или в фаерволе.

Что бот делает

SiteVisorBot не строит поисковый индекс и не собирает контент впрок. Каждый обход запускает человек — владелец сайта или специалист, который проверяет сайт в наших инструментах.

• Технический аудит сайта: коды ответа, заголовки, канонические ссылки, дубли, битые ссылки.
• Разбор sitemap.xml и проверка доступности перечисленных в нём адресов.
• Проверка robots.txt и того, как правила применяются к конкретным URL.
• Аудит готовности сайта к ИИ-агентам и разбор микроразметки.
• Загрузка одного указанного пользователем файла по ссылке — например, PDF для конвертации.

Обход конечен: у каждой проверки есть лимит страниц и лимит времени. Фонового постоянного краулинга у нас нет.

Как проверить, что это действительно наш бот

Строку User-Agent может подделать кто угодно, поэтому проверять нужно не её, а адрес, с которого пришёл запрос.

Обратный DNS

Все наши обходящие узлы имеют PTR-записи в зоне ниже. Проверка двусторонняя: сначала IP → имя, затем имя → IP. Совпали оба направления и имя оканчивается на наш суффикс — запрос наш.

1. Получите имя по IP из лога:

host 198.51.100.10

2. Проверьте, что имя резолвится обратно в тот же IP:

host crawler-1.bot.sitevisor.cloud

Список IP

Список IP публикуется отдельно — если он нужен вашему фаерволу, напишите нам, и мы пришлём актуальный набор адресов.

Как управлять поведением бота

Мы читаем robots.txt перед каждым запросом. Правила вступают в силу в течение часа — столько живёт наш кэш файла.

Полностью закрыть сайт от бота

User-agent: SiteVisorBot
Disallow: /

Закрыть отдельный раздел

User-agent: SiteVisorBot
Disallow: /private/
Disallow: /cart

Замедлить обход

Директиву Crawl-delay мы соблюдаем: она задаёт паузу между запросами в секундах и всегда только замедляет нас — ускорить обход она не может. При заданной задержке бот перестаёт слать параллельные запросы.

User-agent: SiteVisorBot
Crawl-delay: 5

Временно притормозить бота

Ответ 429 или 503 бот воспринимает как просьбу снизить нагрузку. Это удобно, когда сервер под пиковой нагрузкой прямо сейчас и менять robots.txt не хочется.

Что мы гарантируем

• Читаем robots.txt и соблюдаем Allow, Disallow и Crawl-delay.
• Не представляемся чужим ботом и не маскируемся под обычный браузер.
• Не пытаемся обойти блокировки, капчи и ограничения по IP.
• Держим умеренный темп и снижаем его, когда сервер отвечает ошибками.
• Не собираем персональные данные и не заходим в закрытые авторизацией разделы.

Связаться с нами

Если бот создаёт нагрузку, ведёт себя не так, как описано на этой странице, или вы хотите, чтобы он перестал заходить на ваш сайт, — напишите нам. Отвечаем и разбираемся.