Валидатор robots.txt
Проверьте, что поисковые роботы видят на вашем сайте именно то, что нужно. Укажите домен или вставьте свой robots.txt — за пару секунд покажем правила, доступ ботов и подскажем, всё ли открыто для индексации.
Справка: robots.txt и этот инструмент
Файл robots.txt лежит в корне сайта и подсказывает роботам — поисковым системам, SEO-краулерам, ботам соцсетей — какие адреса можно обходить, а какие лучше не трогать. От правил зависят индексация и краулинговый бюджет; это договорённость с роботами, а не способ «спрятать» сайт от интернета.
Зачем это важно в повседневном SEO
Ошибка в синтаксисе или слишком широкий Disallow легко закрывает от нужного бота каталог, карточку товара или посадочную — об этом нередко узнают по косвенным сигналам. Проверка до выкладки и повтор после релиза снижают риск «тихих» ограничений.
Что делает SiteVisor
- Можно взять живой robots.txt с домена или вставить черновик: правила разбираются так же, как для реального файла на сервере.
- Вы задаёте список URL и набор ботов и сразу видите, кому разрешён каждый адрес — в том числе для крупных поисковиков и типичных SEO-ботов из списка.
- Сводка и список замечаний помогают увидеть рискованные директивы без ручного построчного разбора.
- У вошедших пользователей сохраняется история проверок по проекту — удобно сравнивать, как файл менялся со временем.
После проверки полезно убедиться, что
- приоритетные страницы не закрыты для тех ботов, которые реально важны для вашего рынка;
- каждая группа User-agent и правила для путей читаются так, как вы задумали: одна неточность может обнулить целый блок;
- после публикации правок на сайте вы снова прогнали тест и живой robots.txt совпадает с тем, что вы проверяли.
Как это работает
- 1
Укажите сайт или файл
Введите домен — мы сами найдём robots.txt, либо вставьте содержимое вручную.
- 2
Смотрим правила вместе
За пару секунд покажем группы User-agent, разрешения и запреты, карты сайта и задержки — наглядно и по полочкам.
- 3
Проверьте важные страницы
Введите адреса ключевых страниц и убедитесь, что они открыты для поисковиков.
Что покажет проверка
Правила по каждому боту
Разбираем директивы Allow и Disallow отдельно для каждого User-agent — Googlebot, YandexBot и любых других, — чтобы вы точно знали, кому и что открыто.
Проверка конкретных URL
Введите любой адрес и сразу увидите, разрешён ли он к обходу и каким именно правилом. Отличный способ проверить важные страницы перед релизом.
Sitemap и Crawl-delay
Подсветим ссылки на карту сайта и указанную задержку обхода — так роботы находят свежий контент быстрее и обходят сайт бережно.
Понятные подсказки
Каждое правило объясняем простым языком: не нужно держать в голове синтаксис robots.txt — мы всё расшифруем за вас.
Черновик или живой сайт
Проверяйте будущий robots.txt ещё до публикации или сразу боевой файл по адресу сайта — как удобнее именно вам.
Частые вопросы
Все инструменты для SEO — в одном месте
Аудит, конвертация, отслеживание позиций и AI-видимость — весь набор SiteVisor под рукой.
Технический SEO
Индексация, доступность, разметка
PDF-инструменты
Конвертация и метаданные PDF
Позиции и AI
Видимость в поиске и в ответах ИИ
Справочники
Быстрые ответы для SEO
Готовы к полному набору?
Бесплатные проверки, отслеживание позиций и AI-видимость — начните бесплатно и подключайте платные возможности по мере роста.