Подробнее о robots.txt

Пример

User-agent: *
Disallow: /news
# запретить всем роботам индексировать ссылки,
# которые начинаются с /news

User-agent: StackRambler
User-agent: Aport
Disallow: /eng
Disallow: /news
#Рамблеру и Апорту запретить индексацию ссылок,
#которые начинаются с /news и /eng

User-agent: Yandex
Disallow:
#Яндексу разрешить все.


ГЕНЕРАТОР ФАЙЛА ROBOTS.TXT

User-agent:
Disallow:

Результат


МЕТА-тег ROBOTS


Результат выделить