Поисковый робот — это курьер, который пришёл к вашему сайту с огромной тележкой. Файл robots.txt — это вывеска у входа: «Вот сюда можно, а туда — нельзя». Правильно настроить эту вывеску значит не просто сэкономить краулинговый бюджет, но и защитить сайт от индексации служебных страниц, которые могут навредить вашим позициям в поиске.