Создаем robots.txt

robots.txt - указывает поисковым роботам какие каталоги брать для индексации не следует. Если пуст или не существует, то все можно брать.

Подробнее о robots.txt

Пример

User-agent: *
Disallow: /news
# запретить всем роботам индексировать ссылки,
# которые начинаются с /news

User-agent: StackRambler
User-agent: Aport
Disallow: /eng
Disallow: /news
#Рамблеру и Апорту запретить индексацию ссылок,
#которые начинаются с /news и /eng

User-agent: Yandex
Disallow:
#Яндексу разрешить все.

ГЕНЕРАТОР ФАЙЛА ROBOTS.TXT

User-agent:	для всех роботовAltaVistaGoogleMSNYandexABCdatos BotLinkAcme.SpiderAhoy! The Homepage FinderAlkalineAnthillWalhello appieArachnophiliaAraleAraneoAraybOtArchitextSpiderArethaARIADNEarksASpider (Associative Spider)ATN WorldwideAtomz.com Search RobotAURESYSBackRubunnamedBBotBig BrotherBjaalandBlackWidowDie Blinde KuhBloodhoundBorg-BotBoxSeaBotbright.net caching robotBSpiderCACTVS Chemistry SpiderCalifCassandraDigimarc Marcspider/CGICheckbotChristCrawler.comchurlcIeNcIaFiCcIoN.nEtCMC/0.01CollectiveCombine SystemConfuzzledBotCoolBotWeb Core / RootsXYLEME RobotInternet Cruiser RobotCuscoCyberSpyder Link TestCydralSpiderDesert Realm SpiderDeWeb(c) Katalog/IndexDienstSpiderDiggerDigital Integrity RobotDirect Hit GrabberDNAbotDownLoad ExpressDragonBotDWCP (Dridus' Web Cataloging Project)e-collectorEbiNessEIT Link Verifier RobotELFINBOTEmacs-w3 Search EngineananziesculapioEstherEvliya CelebinzexplorerFastCrawlerFluid Dynamics Search Engine robotFelix IDEWild Ferret Web Hopper #1, #2, #3FetchRoverfidoHдmдhдkkiKIT-FireballFish searchFouineurRobot FrancorouteFreecrawlFunnelWebgammaSpider, FocusedCrawlergazzGCreepGetBotGetURLGolemGooglebotGrapnel/0.01 ExperimentGriffonGromitNorthern Light GulliverGulper BotHamBotHarvesthavIndexHI (HTML Index) SearchHometown Spider ProWired Digitalht//DigHTMLgobbleHyper-DecontextualizeriajaBotIBM_PlanetwidePopular IconoclastIngridImagelockIncyWincyInformantInfoSeek Robot 1.0Infoseek SidewinderInfoSpidersInspector WebIntelliAgentI, RobotIron33Israeli-searchJavaBeeJBot Java Web RobotJCrawlerAskJeevesJoBo Java Web RobotJobotJoeBotThe Jubii Indexing RobotJumpStationimage.kapsi.netKatipoKDD-ExplorerKilroyKO_Yappo_RobotLabelGrabberlarbinlegsLink ValidatorLinkScanLinkWalkerLockonlogo.gif CrawlerLycosMac WWWWormMagpiemarvin/infoseekMattieMediaFoxMerzScopeNEC-MeshExplorerMindCrawlermnoGoSearch search engine softwaremogetMOMspiderMonsterMotorMSNBotMuncherMuninnMuscat FerretMwd.SearchInternet ShinchakubinNDSpiderNetCarta WebMap EngineNetMechanicNetScoopnewscan-onlineNHSE Web ForagerNomadThe NorthStar RobotObjectsSearchOccamHKU WWW OctopusOntoSpiderOpenfind data gathererOrb SearchPack RatPageBoyParaSitePatricpegasusThe PeregrinatorPerlCrawler 1.0PhantomPhpDigPiltdownManPimptrain.com's robotPioneerhtml_analyzerPortal Juice SpiderPGP Key AgentPlumtreeWebAccessorPoppiPortalB SpiderpsbotGetterroboPlus PuuThe Python RobotRaven SearchRBSE SpiderResume RobotRoadHouse Crawling SystemRixBotRoad Runner The ImageScape RobotRobbie the RobotComputingSite Robi/1.0RoboCrawl SpiderRoboFoxRobozillaRoverbotRuLeSSafetyNet RobotScooterSearch.Aus-AU.COMSleekSearchProcessSenriganSG-ScoutShagSeekerShai'HuludSiftSimmany Robot Ver1.0Site ValetSiteTech-RoverSkymob.comSLCrawlerInktomi SlurpSmart SpiderSnooperSolbotSpeedy Spiderspider_monkeySpiderBotSpiderline CrawlerSpiderManSpiderView(tm)Spry Wizard RobotSite SearcherSukesuntek search engineSvenSygolTACH Black WidowTarantulatarspiderTcl W3 RobotTechBOTTempletonTitInTITANThe TkWWW RobotTLSpiderUCSD CrawlUdmSearchUptimeBotURL CheckURL Spider ProValkyrieVerticrawlVictoriavision-searchvoid-botVoyagerVWbotThe NWI RobotW3M2WallPaper (alias crawlpaper)the World Wide Web Wandererw@pSpider by wap4.comWebBandit Web SpiderWebCatcherWebCopywebfetcherThe Webfoot RobotWebinatorweblayersWebLinkerWebMirrorThe Web MooseWebQuestDigimarc MarcSpiderWebReaperwebsWebsnarfWebSpiderWebVacwebwalkWebWalkerWebWatchWgetwhatUseek WinonaWhoWhere RobotWeblog Monitorw3mirWebStolpererThe Web WombatThe World Wide Web WormWWWC Ver 0.2.5WebZingerXGETNederland.zoek
Disallow:	индексировать всё / /.. /cgi-bin /phpincludes /css /js /images /mail

Результат

МЕТА-тег ROBOTS

проиндексировать эту страницу (если не часто обновляется)
прослеживать гиперссылки на странице (советуем выбрать)

Результат	выделить