Обзор интернета Легкая версия Веб-мастеру Графика Игры, Спорт Программы Рецепты Время Рождество Библия
Свой сайт Хостинг Облака Домены Ресурсы Формы на сайт Раскрутка
robots.txt SEO Валидаторы Веб-мастеру Интернет Ключевые слова Проверка Продвижение Реклама Ресурсы Скорость интернета Ссылки Статистика Тесты



Создаем robots.txt

robots.txt
Указывает поисковым роботам какие каталоги брать для индексации не следует. Если пуст или не существует, то все можно брать.


Подробнее о robots.txt

Пример

User-agent: *
Disallow: /news
# запретить всем роботам индексировать ссылки,
# которые начинаются с /news

User-agent: StackRambler
User-agent: Aport
Disallow: /eng
Disallow: /news
#Рамблеру и Апорту запретить индексацию ссылок,
#которые начинаются с /news и /eng

User-agent: Yandex
Disallow:
#Яндексу разрешить все.

ГЕНЕРАТОР ФАЙЛА ROBOTS.TXT

User-agent:
Disallow:

Результат

МЕТА-тег ROBOTS


Результат выделить

Проверка сайта на ошибки

  1. tool.motoricerca.info/robots-checker.pht... - Robots.txt Checker - Online проверка синтаксиса файла robots.txt.

Яндекс.Вебмастер

  1. webmaster.yandex.ru/tools/robotstxt - Анализ robots.txt - Здесь можно выяснит, что у нас не так, если у нас что-то не так в файле robots.txt, подробнее о robots.txt.

Print Friendly and PDF




Веб мастеру Что ищут? Статистика посещаемости сайта МЕТА-теги .htaccess CHMOD Почтовая форма Защищенный Email Цвета в HTML Определитель скорости закачки Построитель потока RSS в JavaScript Шифрование HTML в javascript





Подать статью
Рассылка
О нас

Почта

Графика

Шрифты
Логотипы
Брендбуки
Пиктограммы
Геральдика

Популярное

Уровень сайта
Регистрация сайта
Как сделать сайт
1 место на Google
Переводчики Онлайн
Пароль

Топ интернета

Ph4 в социальный сетях, рассылки и контакт

©2005-2018, Веб-студия Ph4 - Каталог интернета пользователю, веб-мастеру и дизайнеру v. 4.3