Am gasit mai mult de 10 site-uri apartinand unor companii importante din Romania care practica un model "deosebit" de SEO.
Pentru exemplificare vedeti http://www.petrom.ro/robots.txt
User-agent: *
Disallow: /
O fi bine, nu o fi bine?
Versiune printabilă
Am gasit mai mult de 10 site-uri apartinand unor companii importante din Romania care practica un model "deosebit" de SEO.
Pentru exemplificare vedeti http://www.petrom.ro/robots.txt
User-agent: *
Disallow: /
O fi bine, nu o fi bine?
Nu e model de seo, e prostie.
petrom.ro/robots.txt redirectioneaza catre petrom.com/robots.txt
petrom.com redirectioneaza catre petrom.com/portal/01/petromcom
respectivul robots.txt nici nu cred ca este citit de roboti pt ca sunt direct redirectionati catre adresa mai sus amintita. ;)
petrom.com/robots.txt nu redirectioneaza spre nimic, deci e eact acolo unde trebuie. Probabil a fost pus pana e terminata noua versiune, o prostie si o greseala enorma fiindca e acolo de ceva timp.
Probabil din nou un contract de 2 mil de euro "papat" de o firma de specialisti.
nici eu nu am zis ca petrom.com/robots.txt redirectioneaza catre ceva.
oricum eu am impresia ca fisierul ala nu incomodeaza abosolut deloc indexarea pentru ca nu este citit (cel putin asa pare de la prima cercetare)
Site-ul a avut continut (cand am indexat eu) si mai exista inca link-uri catre site desi pare abandonat (redirectat acum).
Mai multe site-uri au acest tip de robots.txt si nu toti au redirect.
Ma gandesc ca nu si-au platit webmasterul.
nu cred ca are vre-o legatura cu plata sau neplata webmasterului, la o asemenea companie cred ca e facut un contract la mijloc, nu lasa baietii sa faca ce vor acolo.
ori este uitat/ori pus din greseala/ori numai ei stiu ce au vrut sa faca.
Ma refeream la ceilalti nu la Petrom.Citat:
Postat în original de memelea
Sunt unele site-uri de turism sau imobiliare care nu au nici un motiv sa refuze spiderii si totusi au robots.txt identic cu asta.
Vad ca au pagini indexate asa ca se pare ca nu are nici o importanta acel robots.txt pus acolo.