Sintaxa robots.txt?

[Cristi U]

Pai si cu Disallow in timp vor fi excluse. Crawelerul ajunge pe o pagina dar e blocat de robots.txt si nu o poate accesa, asa ca pana la urma va zbura din index.

[vivaldi]

Ok, multumesc pentru raspuns, cred ca ai dreptate.

Inca o intrebare: aceste pagini (versiunile printabile) au acelasi titlu si acelasi meta-description ca si pagina originala de produs...in cazul asta sunt continut duplicat si cu toate ca Google nu penalizeaza astfel de continut duplicat, este prost pentru SEO, nu?

Mai ales pentru ca am observat ca de multe ori la site-ul respectiv, pentru produsele nou introduse, Google prefera sa indexeze pagina cu print.html in detrimentul paginii de produs...

Este cea mai buna decizie aceasta de a interzice accesul la aceste pagini, nu-i asa? Pentru ca am mai auzit si pareri care spun ca mai bine sa te indexe Google cu orice decat sa nu te indexeze deloc....

[Cristi U]

Pagina de print banuiesc ca e mult mai simpla si mai mica ca marime (fara elemente grafice, etc.) si probabil de aia ar putea ranka mai bine ca si originalul in cazurile alea in care le descrii.

Cel mai bine e insa sa le blochezi pentru ca nu folosesc altor utilizatori care nu vor sa printeze dar ajung acolo din google. + ca vorbim de duplicat content evident, ceea ce nu e bine pe acelasi site (nu e bine nicaieri de fapt).

[vivaldi]

Pot confirma, pentru cine este interesat, ca Google intelege si se conformeaza directivei Noindex in robots.txt, poate ii este cuiva de folos.

Am sa urmaresc in urmatoarele zile evolutia numarului de pagini indexate ce contin sintaxa pentru care am folosit Noindex, sa vad ca intradevar sunt si scoase acele url-uri din index.