De asemenea botii(spider-ii), adica motoarele de cautare despre care am vorbit, cauta in radacina site-ului un fisier denumit robots.txt
daca acesta exista el urmeaza instructiunile pe care noi scriem acolo, mai precis ce pagini sau directoare sa urmeze (download) sau ce pagini/directoare sa nu urmeze

sa explicam asta cu un mic exemplu

User-agent: *
Disallow: /

- sa explicam putin. Cu "User-agent: *" noi specificam motorul de cautare, iar in cazul nostru * inseamna orice motor de cautare
- cu "Disallow: /" noi am specificat directorul radacina, in concluzie el nu are ce cauta pe site-ul nostru datorita aceste linii scrise de noi. Opusul este "Disallow:"

cateva mici exemple

pentru ca sa nu viziteze un fisier folosim
User-agent: *
Disallow: fisier.html

iar pentru un director folosim
User-agent: *
Disallow: /cgi-bin/

bineinteles putem sa specificam pentru ce motor de cautare sa fie acea regula pusa de noi

User-agent: googlebot
sau
User-agent: WebCrawler

si in final lista noastra poate arata cam asa

User-agent: *
Disallow:
Disallow: /cgi-bin/
Disallow: /images/
User-agent: Googlebot
Disallow:
User-agent: Googlebot-Image
Disallow: /
User-agent: MSNBot
Disallow:
User-agent: Teoma
Disallow: /
User-agent: Gigabot
Disallow: /
User-agent: Scrubby
Disallow: /
User-agent: Robozilla
Disallow: