#robots.txt

SEO инструменты Главный материал Киселев Александр29 июл 2025

Как настроить robots.txt: синтаксис директив User-agent, Disallow, Allow, Sitemap, различия Google и Яндекса, примеры и частые ошибки.

SEO инструменты Киселев Александр11 июн 2025

Готовые примеры robots.txt для WordPress, Bitrix, Tilda и других CMS: что закрывать от индексации, а что открывать для Google и Яндекса.

SEO инструменты Екатерина Киселева11 июн 2025

Разбираем, зачем нужен robots.txt, как он влияет на индексацию сайта в Яндексе и Google, и как правильно настроить его для WordPress и WooCommerce.

PHP разработка Киселев Александр26 дек 2023

PHP-скрипт и правила .htaccess для отдачи уникальных robots.txt и sitemap.xml на каждом домене мультисайта.