http://www.google.com/support/webmasters/bin/topic.py?topic=8476
Дело в том, что нормально Google и Яндекс проиндесируют ограниченное количество страниц сайта и сделают это тогда, когда сами посчитают нужным.
Но мы можем изменить эту ситуацию.
Google предложил возможность влиять на индесацию своего сайта - Google Sitemap.
Создаем файл в формате .XML со списком файлов, указанием даты последнего обновления и частотой обновляемости.
Что это дает?
- Google и Яндекс проиндексируют все указанные страницы сайта,
- сделают это быстро
- и своевременно будет обновлять эту информацию.
Наличие Sitemap не дает преимуществ при ранжировании.
Пример
<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
<url>
<loc>http://www.site.com/post.php </loc>
<lastmod>2005-07-15 </lastmod>
<changefreq>weekly </changefreq>
<priority>0.5 </priority>
</url>
</urlset>
- loc (location) – адрес веб-страницы, например http://www.site.com/post.php или http://www.site.com/post.php?a=12, ...
Этот тег должен быть обязательно заполнен, остальные по желанию.
- lastmod (last modified) – дата последней модификации страницы
- changefreq (change frequency) – говорит Google о том, как часто Вы обновляете веб-страницу.
Возможные значения:
- never - никогда,
- weekly - еженедельно,
- daily - ежедневно,
- hourly - ежечастно,
- monthly - ежемесячно,
- yearly - ежегодно.
Если у вас новостной сайт, тогда надо выставлять daily, чтобы не было устаревшей информации и была свежая.
Если у вас статичный сайт, тогда надо выставлять never, чтобы четко зафиксировать вашу информацию в поисковиках.
- priority – устанавливает приоритет, который Google назначит для конкретной веб-страницы.
Возможные значения:
- 0.0 - низший приоритет,
- 1.0 - высший приоритет,
- 0.5 - средний приоритет.
Внимание, выставленный приоритет не поднимает вашу страницу выши или ниже. Если вы выставите всем страницам 1.0 тогда Google
будет сообщать об ошибке в коде и было бы лучше просто пропустить эту строку.
Как создать Google Sitemap?
Вручную в блокноте неудобно даже, если у вас небольшой сайт. Это можно автоматизировать.
Если Ваш сайт состоит из 1000 страниц и более, то создавать Google Sitemap вручную будет слишком долго, муторно и неудобно.
Это можно сделать на сайте google - Sitemap Generator.

http://www.sitemapgenerator.ru
Простой и классный сайт.
Он сам сгенерирует вам Sitemap.xml бесплатно. Правда сайт должен быть не более 2000 страниц.
Заодно может сделать карту сайта, но тут ограничения - 500 страниц.
Он также прорегистрирует ваш Sitemap.xml в Google, Yahoo, Live Search.
Подробная статистика по Sitemap.xml, плюс
- Whois
- Проверка PR
- Проверка тИЦ
- Проверка индекса в Яндексе
- Проверка индекса в Google
- ...