Citat Postat în original de maxxone Vezi Post
....stiu ca poate suna banal, dar sunt la inceput si e mai greu....
Ce metataguri tb sa folosesc ca google sau alte motoare de cautare sa nu se atinga de tot ce exista intr-un director dorit de mine (niste .pdf-uri)?
Creezi un fisier robots.txt cu urmatorul continut:

User-agent: *
# * face referire la toti spiderii
Disallow: /nume_director1/
#restrictioneaza accesul la directorul numit nume_director1
Disallow: /nume_director2/
#restrictioneaza accesul la directorul numit nume_director2
Disallow: /fisier.php
#restrictioneaza accesul la fisierul numit fisier.php
Disallow: /nume
#restrictioneaza accesul atat la directoarele cat si la fisierele al caror nume incepe cu nume

etc.

Daca nu vrei sa restrictionezi accesul tuturor spiderului inlocuiesti linia
User-agent: *
cu User-agent: numele_spiderului ca de exemplu:

User-agent: webcrawler sau
User-agent: infoseek

Dupa ce ai creeat robots.txt il pui in root-ul serverului.

Mai multe detalii despre robots.txt aici: