Полное руководство о директивах Robots.txt
Как настроить robots.txt: синтаксис директив User-agent, Disallow, Allow, Sitemap, различия Google и Яндекса, примеры и частые ошибки.
Все материалы журнала по этому тегу.
Как настроить robots.txt: синтаксис директив User-agent, Disallow, Allow, Sitemap, различия Google и Яндекса, примеры и частые ошибки.
Готовые примеры robots.txt для WordPress, Bitrix, Tilda и других CMS: что закрывать от индексации, а что открывать для Google и Яндекса.
Разбираем, зачем нужен robots.txt, как он влияет на индексацию сайта в Яндексе и Google, и как правильно настроить его для WordPress и WooCommerce.
Как быстро очистить значения свойства сразу у всех элементов инфоблока в Битрикс через код на D7, без ручной правки в админке.
Как отключить вывод SEO Meta Keywords на всём сайте на Битрикс через событие OnEpilog в php_interface.php — подходит и для Aspro.
PHP-скрипт и правила .htaccess для отдачи уникальных robots.txt и sitemap.xml на каждом домене мультисайта.