Настройка robots.txt

Файл robots.txt – это текстовый файл, находящийся в корневой директории сайта, в котором записываются специальные инструкции для поисковых роботов.

Эти инструкции могут  запрещать к индексации некоторые разделы или страницы на сайте, указывать на правильное «зеркалирование» домена, рекомендовать поисковому роботу соблюдать определенный  временной интервал между скачиванием документов с сервера и т.д.

Обычно данный файл используется для запрета индексирования служебных или дублирующихся страниц сайта.

Для создания файла можно использовать любой текстовый редактор или специализированные утилиты. Чтобы проверить правильность обработки Вашего файла robots.txt, воспользуйтесь анализатором файла robots.txt в Яндекс.Вебмастере.