Создаем robots.txt

Веб-мастеру / Ресурсы / Веб-мастерская

Создаем robots.txt

robots.txt
Указывает поисковым роботам какие каталоги брать для индексации не следует. Если пуст или не существует, то все можно брать.
Подробнее о robots.txt

Пример

User-agent: *
Disallow: /news
# запретить всем роботам индексировать ссылки,
# которые начинаются с /news

User-agent: StackRambler
User-agent: Aport
Disallow: /eng
Disallow: /news
#Рамблеру и Апорту запретить индексацию ссылок,
#которые начинаются с /news и /eng

User-agent: Yandex
Disallow:
#Яндексу разрешить все.

ГЕНЕРАТОР ФАЙЛА ROBOTS.TXT

User-agent:
Disallow:

Результат

МЕТА-тег ROBOTS


Результат выделить

Анализ robots.txt

  1. google.com/webmasters/tools/robots-t - Google, Инструмент проверки файла robots.txt
  2. websiteplanet.com/ru/webtools/robots - Website Planet

Веб-мастеру

  1. webmaster.yandex.ru/tools/robotstxt/ - Анализ robots.txt - Здесь можно выяснит, что у нас не так, если у нас что-то не так в файле robots.txt, подробнее о robots.txt.