Site-ul are 7 zile de cand e sus si nu are nici un link catre nici o pagina niciunde. (Acum in timp ce postam am facut primul link pe un site PR6 catre www.site.tld)

Adevarul este ca si eu a ramas surprins cand am vazut ca apareau paginile respective in cautari dupa 2 zile de cand era site-ul sus. Nu stiu din ce cauza s-a intamplat asta. Am stat si m-am gandit, si este posibil sa fi pus fisierul robots.txt la o zi dupa ce am pus site-ul sus, insa oricum paginile respective aveau noindex in meta tags de cand au fost create.. asa ca nu stiu nici eu de ce s-a intamplat chestia asta.

Oricum exemplul este bun pentru a vedea ca nu conteaza faptul ca se restrictioneaza accesul robotilor la o anumita pagina atunci cand vine vorba ca acestia sa o viziteze (nu sa o indexeze), desi in cazul de fata nu numai ca au vizitat pagina respectiva, ci Google a si indexat-o.

Mai mult pentru asta am vrut sa dau exemplu, pentru ca stiu ca mai erau unii care intrebau cum pot sa opreasca robotii sa viziteze unele pagini (nu doar indexarea). Asa ca in concluzie nu cred ca este posibil sa opresti bootii sa viziteze o pagina ci doar poti sa ii opresti sa o indexeze.