Индексация и роботы

robots.txt, sitemap, краулинговый бюджет и разбор инцидентов.