Citat Postat în original de memelea Vezi Post
nu cred ca are vre-o legatura cu plata sau neplata webmasterului, la o asemenea companie cred ca e facut un contract la mijloc, nu lasa baietii sa faca ce vor acolo.

ori este uitat/ori pus din greseala/ori numai ei stiu ce au vrut sa faca.
Ma refeream la ceilalti nu la Petrom.

Sunt unele site-uri de turism sau imobiliare care nu au nici un motiv sa refuze spiderii si totusi au robots.txt identic cu asta.