Обзор интернета Легкая версия Веб-мастеру Графика Игры, Спорт Программы Рецепты Время Рождество Библия
Свой сайт Хостинг Облака Домены Ресурсы Формы на сайт Раскрутка
404 ASCII HTML robots.txt SEO WYSIWYG Валидаторы Веб-мастеру Веб-редакторы Генератор иконок Интернет Справка Ссылки



robots.txt

robots.txt
Указывает поисковым роботам какие каталоги брать для индексации не следует. Если пуст или не существует, то все можно брать.


Список роботов поисковиков


Генератор файла robots.txt

Поисковые сервера всегда перед индексацией вашего ресурса ищут в корневом каталоге вашего домена файл с именем "robots.txt" (http://www.mydomain.com/robots.txt).
Этот файл сообщает роботам (паукам-индексаторам), какие файлы они могут индексировать, а какие нет.

robots.txt состоит из двух полей:

  1. User-agent - название робота,
  2. Disallow - запрет на индексирование файла или директории.
  3. комментарии - начинаются с новой строки с #.

Правила

Редакторы
robots.txt должен создаваться в текстовом формате.
В качестве редактора можно использовать блокнот, FTP-клиент, некоторые HTML-редакторы.

Название
robots.txt, а не robot.txt или Robots.txt, иначе не будет работать.

Местонахождение
Файл robots.txt должен располагаться в корневом каталоге.

Пробелы
<Поле> ":" <значение>
Пробелы не имеют значения.

Комментарии
Комментарии - начинаются с новой строки с #. Пробел после # не обязателен.

Порядок
1-я строка User-agent, которая определяет робота,
а последующая Disallow определяет файл или папку, закрытую для индексирования.

Если запрет относится к ряду роботов, то они пишутся один за одним отдельно, а потом запрет или перечень запретов, например:

User-agent: StackRambler
User-agent: Aport
Disallow: /eng
Disallow: /news

#Рамблеру и Апорту запретить индексацию ссылок,
#которые начинаются с /news и /eng

То же самое и для Disallow - каждый запрет с новой строчки.

Если же для разных роботов разные запреты, то они разделяются пустой строкой, например:

User-agent: *
Disallow: /news
# запретить всем роботам индексировать ссылки,
#которые начинаются с /news

User-agent: StackRambler
User-agent: Aport
Disallow: /eng
Disallow: /news
#Рамблеру и Апорту запретить индексацию ссылок,
#которые начинаются с /news и /eng

User-agent: Yandex
Disallow:

#Яндексу разрешить все.

Запрет всем роботам индексацию файлов с расширениями .doc и .pdf:

User-Agent: *
Disallow: /*.doc$
Disallow: /*.pdf$

Примеры

User-agent: Roverdog
Disallow: email.htm

Разрешает всем роботам индексировать все:
User-agent: *
Disallow:

Запрещает всем роботам всё:
User-agent: *
Disallow: /

Запрещает всем роботам индексировать файл email.htm, все файлы в папке "cgi-bin" и папке 2-го уровня "images":
User-agent: *
Disallow: email.htm
Disallow: /cgi-bin/
Disallow: /images/

Запрещает роботу Roverdog индексировать все файлы сервера:
User-agent: Roverdog
Disallow: /

Еще пример:
User-agent: *
Disallow: /cgi-bin/moshkow
Disallow: /cgi-bin/html-KOI/AQUARIUM/songs
Disallow: /cgi-bin/html-KOI/AQUARIUM/history
Disallow: /cgi-bin/html-windows/AQUARIUM/songs
Disallow: /cgi-bin/html-windows/AQUARIUM/history

МЕТА-тег ROBOTS

МЕТА тег robots служит для того, чтобы разрешать или запрещать роботам, приходящим на сайт, индексировать данную страницу. Кроме того, этот тег предназначен для того, чтобы предлагать роботам пройтись по всем страницам сайта и проиндексировать их. Сейчас этот тег приобретает все большее значение.

<HTML>
<HEAD>
<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">
<META NAME="DESCRIPTION" CONTENT="Эта страница ….">
<TITLE>...</TITLE>
</HEAD>
<BODY>

NOINDEX - запрещает индексирование документа;
NOFOLLOW - запрещает проход по ссылкам, имеющимся в документе;
INDEX - разрешает индексирование документа;
FOLLOW - разрешает проход по ссылкам.
ALL - индексировать всё, равносильно INDEX, FOLLOW
NONE - не индексировать ничего, равносильно NOINDEX, NOFOLLOW

Примеры мета-тега robots:

<META NAME=ROBOTS" CONTENT="NOINDEX, FOLLOW">
<META NAME=ROBOTS" CONTENT="INDEX, NOFOLLOW">
<META NAME=ROBOTS" CONTENT="NOINDEX, NOFOLLOW">

Robots.txt Checker - бесплатная проверка функциональности файла robots.txt.



Print Friendly and PDF




Веб мастеру Учебники-справочники htaccess CHMOD ERROR - таблица кодов возврата 404 МЕТА-теги CSS MySQL шпаргалки Защита от авто-заполнения форм Redirect Валидность
Софт
Web soft Лучшие веб-утилиты Онлайновые WYSIWYG WAP софт
Favicon
Favicon Редакторы иконок Генераторы иконок онлайн Генератор иконок для смартфонов онлайн
RSS
RSS Примеры RSS Пример Atom-документа





Подать статью
Рассылка
О нас

Почта

Графика

Шрифты
Логотипы
Брендбуки
Пиктограммы
Геральдика

Популярное

Уровень сайта
Регистрация сайта
Как сделать сайт
1 место на Google
Переводчики Онлайн
Пароль

Топ интернета

Ph4 в социальный сетях, рассылки и контакт

©2005-2018, Веб-студия Ph4 - Каталог интернета пользователю, веб-мастеру и дизайнеру v. 4.3