Interesat @robyroy. Nu stiam ca se poate face asta din robots.txt. Asta inseamna ca daca am o pagina care poate fi accesata in 3 feluri as putea opri indexarea celorlalte 2 feluri.
Exemplu:
http://site.com/categorie/articol/
Mai poate fi accesat si la:
1. http://site.com/categorie/articol.html
2. http://site.com/categorie/articol.htm
3. http://site.com/categorie/articol.php
...si asa mai departe. Se pate ca poate fi accesat la orice as pune dupa [.]
In cazul de fata robots.txt ar trebui sa arate:
User-agent: Googlebot
Disallow: /*.html
Disallow: /*.php
Disallow: /*.htm
?
Răspunde cu citat