26th September 2012, 23:25
#4
1 out of 1 members found this post helpful.

Postat în original de
robyroy
Din experienta, robots.txt limiteaza accesul spiderilor blocand indexarea paginilor pe care nu le doriti a fi indexate. Este foarte eficient si atunci cand vrei sa scoti din index anumite pagini.
Din pacate experienta imi spune ca filtrul aplicat in robots.txt DUPA indexarea paginilor nu a dat rezultate in proportie de 100% in cazul meu. Si dupa 2 ani mai aveam mii de pagini indexate.
Indiferent de platforma.
Singura solutie a fost combinarea lui cu blocarea din WMT. Si atunci intr-o zi au fost "rase" complet. Nu asta dorea Krumel.
Intrebarea era pentru lovelife pentru a vedea in ce moment a aplicat regulile in robots.txt. INAINTE sau DUPA indexare.