Am si eu o intrebare...

[maxxone]

....stiu ca poate suna banal, dar sunt la inceput si e mai greu....
Ce metataguri tb sa folosesc ca google sau alte motoare de cautare sa nu se atinga de tot ce exista intr-un director dorit de mine (niste .pdf-uri)?

[agnus]

cauta despre robots.txt in google. ai sa te lamuresti. Mai cauta si despre rel='nofollow' si 'noindex nofollow'.

[bogdan985]

....stiu ca poate suna banal, dar sunt la inceput si e mai greu....
Ce metataguri tb sa folosesc ca google sau alte motoare de cautare sa nu se atinga de tot ce exista intr-un director dorit de mine (niste .pdf-uri)?

Creezi un fisier robots.txt cu urmatorul continut:

User-agent: *
# * face referire la toti spiderii
Disallow: /nume_director1/
#restrictioneaza accesul la directorul numit nume_director1
Disallow: /nume_director2/
#restrictioneaza accesul la directorul numit nume_director2
Disallow: /fisier.php
#restrictioneaza accesul la fisierul numit fisier.php
Disallow: /nume
#restrictioneaza accesul atat la directoarele cat si la fisierele al caror nume incepe cu nume

etc.

Daca nu vrei sa restrictionezi accesul tuturor spiderului inlocuiesti linia
User-agent: *
cu User-agent: numele_spiderului ca de exemplu:

User-agent: webcrawler sau
User-agent: infoseek

Dupa ce ai creeat robots.txt il pui in root-ul serverului.

Mai multe detalii despre robots.txt aici:

[maxxone]

Multumesc pentru raspunsurile prompte si documentate.