Optiunea cu meta nu mi se pare deloc ok. Daca mai sunt 100 ca tine, eu ce fac, pun 100 de metauri in header? Ti se pare normal? Dar daca am sa zicem vreo 300 de siteuri, ce fac? Cat imi ia sa pun meta-uri pe fiecare?

Stelian, nu e primul, nici ultimul, corect. Dar vezi tu, celelalte sunt pe extern si foarte putine sau aproape niciunul nu reuseste sa acopere piata din romania, ceea ce pt noi e ok Acum intelegi pericolului unui astfel de crawler local? De ce sa gasesc eu solutii, cand exista una general valabila numita robots.txt ?