Stiu ca au mai fost discutii in legatura vizitele Google pe paginile restrictionate din robots.txt
Acum am sa dau un exemplu in care 2 pagini ale unui site de al meu care sunt restrictionate atat din robots.txt cat si din meta tags au fost indexate de Google si au aparut in rezultatele cautarilor timp de aprox. 4 zile (cu titlu si descriere)
In momentul de fata ele nu mai apar in cautari insa le mai pot gasi la pagini indexate (fara titlu si descriere):
Meta Tags (contine):
Later Edit:Cod:<meta name="robots" content="noindex, nofollow" />
Robots.txt:
Cod:User-agent: * Disallow: /cgi-bin Disallow: /cms Disallow: *index





Răspunde cu citat