Sintaxa robots.txt?

[vivaldi]

De ce ai pute in robots.txt si noindex si disallow? Eu unul nu vad sensul... E de ajuns disallow

Pai tocmai asta ar fi si intrebarea: daca existenta celor doua (presupunand ca noindex este luat in considerare) este permisa....
Ideea ar fi ca paginile print.html deja indexate sa fie scoase din index...

[Cristi U]

Pai tocmai asta ar fi si intrebarea: daca existenta celor doua (presupunand ca noindex este luat in considerare) este permisa....
Ideea ar fi ca paginile print.html deja indexate sa fie scoase din index...

Pai disallow are eficienta maxima (teoretic cel putin, pt ca sunt si care ignora). Tot nu inteleg de ce sa pui si noindex in robots.txt

[vivaldi]

Disallow are eficienta in blocarea crawling pe acele pagini, insa daca ele sunt deja indexate le lasa indexate.
Teoretic Noindex ar trebui sa le si deindexeze automat la urmatorul crawl pe acele pagini deja indexate.

Insa chiar daca Google le accepta pe amandoua in robots.txt, s-ar putea sa se bata cap in cap, exact asa cum e in cazul in care pui meta-robots noindex, follow de exemplu si in acelasi timp pui Disallow in robots.txt pe acele pagini cu meta-robots (meta-robots de pe acele pagini nu mai este citit pentru ca nu se mai face crawl pe ele).