Disallow in robots.txt doar opreste indexarea URL-urilor, nu limiteaza accesul crawlerului la ele N-o sa functioneze. Been there, done that.