Pagini restrictionate indexate de Google

Stiu ca au mai fost discutii in legatura vizitele Google pe paginile restrictionate din robots.txt

Acum am sa dau un exemplu in care 2 pagini ale unui site de al meu care sunt restrictionate atat din robots.txt cat si din meta tags au fost indexate de Google si au aparut in rezultatele cautarilor timp de aprox. 4 zile (cu titlu si descriere)

In momentul de fata ele nu mai apar in cautari insa le mai pot gasi la pagini indexate (fara titlu si descriere):
http://img299.imageshack.us/img299/2...rd01cv5.th.jpg

Meta Tags (contine):

Cod:

---

<meta name="robots" content="noindex, nofollow" />

---

Later Edit:
Robots.txt:

Cod:

---

User-agent: *
Disallow: /cgi-bin
Disallow: /cms
Disallow: *index

---

Daca sunt linkuri catre acele pagini, pot fi indexate fara a arata insa descrierea .Pentru a preveni indexarea trebuie sa pui un metatag cu noindex. still index blocked pages

Site-ul are 7 zile de cand e sus si nu are nici un link catre nici o pagina niciunde. (Acum in timp ce postam am facut primul link pe un site PR6 catre www.site.tld)

Adevarul este ca si eu a ramas surprins cand am vazut ca apareau paginile respective in cautari dupa 2 zile de cand era site-ul sus. Nu stiu din ce cauza s-a intamplat asta. Am stat si m-am gandit, si este posibil sa fi pus fisierul robots.txt la o zi dupa ce am pus site-ul sus, insa oricum paginile respective aveau noindex in meta tags de cand au fost create.. asa ca nu stiu nici eu de ce s-a intamplat chestia asta.

Oricum exemplul este bun pentru a vedea ca nu conteaza faptul ca se restrictioneaza accesul robotilor la o anumita pagina atunci cand vine vorba ca acestia sa o viziteze (nu sa o indexeze), desi in cazul de fata nu numai ca au vizitat pagina respectiva, ci Google a si indexat-o.

Mai mult pentru asta am vrut sa dau exemplu, pentru ca stiu ca mai erau unii care intrebau cum pot sa opreasca robotii sa viziteze unele pagini (nu doar indexarea). Asa ca in concluzie nu cred ca este posibil sa opresti bootii sa viziteze o pagina ci doar poti sa ii opresti sa o indexeze.

Citat:

---

Postat în original de Dagam3

Mai mult pentru asta am vrut sa dau exemplu, pentru ca stiu ca mai erau unii care intrebau cum pot sa opreasca robotii sa viziteze unele pagini (nu doar indexarea). Asa ca in concluzie nu cred ca este posibil sa opresti bootii sa viziteze o pagina ci doar poti sa ii opresti sa o indexeze.

---

Le poti bloca accesul 100% doar daca ai user si parola pe foldere.

Da.. asa da......

eu stiu ca blocarea din robots.txt opreste vizita robotilor pe paginile resprective...
cred ca tie ti le-au vizitat, tu ai pus robots.txt apoi si a aparut indexata pagina dinainte de a fi restrictionat accesul...
sau poate fi o eroare a lui G...si sa fii indexat oricum
insa nu cred ca trebuie trasa o concluzie de aici....robots.txt opreste vizita pe paginile respective, nu indexarea lor