...daca ne spuni ce ai scris in robots.txt poate te putem si ajuta


..uite aici ex. de la mine, lucrez cu el de 2 ani si este totul ok

# lasa toti robotii sa intre si sa indexeze, in afara de fisierele listate mai jos
# acolo va trebui sa-ti scrii fisierele tale la care sa nu aiba robotii acces

User-agent: *
Disallow: /fisier1/
Disallow: /fisier2/
Disallow: /fisier3/
Disallow: /fisier4/
Disallow: /fisier5/
Disallow: /fisier6/
Disallow: /fisier7/
Disallow: /fisier8/
Disallow: /fisier9/
Disallow: /fisier10/
Disallow: /fisier11/
Disallow: /fisier12/
Disallow: /fisier13/
Disallow: /fisier14/
Disallow: /fisier15/
Disallow: /sau_o_fila_care_doresti_tu.doc
Disallow: /sau_alta_fila_dorita.html/php/htm


# roboti colectori - astia aduna adrese eail de pa site-uri si ulterior trimit SPAM
# practica pe care mai multe site-uri din Romania o numesc *Reclama*

User-agent:EmailCollector
Disallow: /


# gaga robots fuck off
# uneori se poate intampla ca un robot sa *inebunesca* si nu mai pleaca de pe site, uitand ce a indexat si ce nu
# acestia produc trafic enorm uneori - pentru a evita situatia se introduce ce scrie mai jos

User-agent: GagaRobot
Disallow: /

...cu acest robots.txt esti de partea cea buna


Daca te-am putut ajuta, nu ma uita cand am eu nevoie de ajutor ;-)