SEO инструменты Главный материал
Киселев Александр28 июл 2025
Киселев Александр28 июл 2025Полное руководство о директивах Robots.txt
Как настроить robots.txt: синтаксис директив User-agent, Disallow, Allow, Sitemap, различия Google и Яндекса, примеры и частые ошибки.
robots.txt