Директива User-agent

Роботы Яндекса поддерживают стандарт описания с расширенными возможностями, описанными ниже.

Обычно, индексирующим роботом используется сессионный принцип работы, на каждую  сессию формируется определенный массив страниц, которые планирует закачать робот.

Сессия начинается с закачки robots.txt сайта, если его нет, он не текстовый или на запрос  робота возвращается HTTP-код отличный от '200', считается, что доступ роботу не  ограничен.

В самом robots.txt проверяется наличие записей, начинающихся с 'User-agent:', в  них ищутся подстроки 'Yandex', 'Google' либо '*' (регистр значения не имеет), причем, если обнаружено 'User-agent: Yandex' или 'User-agent: Google', директивы для 'User-agent: *' для  данных роботов не учитываются.