@starnet poate ca nu se merita sa citesti permisiunile din robots.txt, insa stiu ca sunt foarte importante si am auzit de un caz in care cineva a dat in judecata google pentru ca a crawlerit si indexat niste pagini pe care el le setade disallow in robots.txt si a castigat procesul. Era chestia ca persoana/firma respectiva pusese niste chestii confidentiale pe net si le-a dat disallow din robots.txt, dar google tocmai crawler-ise site-ul cu putin timp in urma si a cache-uit robots.txt-ul si din cauza asta a durat putin pana la urmatoarea citire a robots.txt si a indexat acele pagini care nu trebuiau.

Acuma na, nu este cazul la tine, dar ziceam si eu asa.