Частота запросов от робота Яндекса

Если индексирующий робот Яндекса создаёт большую нагрузку на веб-сервер, можно ему сказать
делать паузы между запросами к файлам. То есть скачав одну страницу, он сделает паузу, и следующую страницу будет запрашивать не ранее, чем пройдёт заданный вебмастером интервал времени. Этот интервал указывается в файле robots.txt директивой Crawl-delay. Например:

Crawl-delay: 2

Увидив это, робот будет скачивать файлы с сервера не быстрее, чем раз в 2 секунды.