Citat Postat în original de Marius Cristian Vezi Post
In robots.txt le-ai filtrat de la inceput? Macar in asta mai putem avea incredere?
Din experienta, robots.txt limiteaza accesul spiderilor blocand indexarea paginilor pe care nu le doriti a fi indexate. Este foarte eficient si atunci cand vrei sa scoti din index anumite pagini.