Am o mica dilema la un site personal, facut pe un script custom. Site-ul respectiv are o functie de paginatie, care creeaza URL-uri de tipul
http://www.domeniu.com/categories/2
http://www.domeniu.com/categories/3
http://www.domeniu.com/categories/4
Fiecare pagina are un titlu aproape identic si aceleasi meta tags (inclusiv description) si imi apar ca erori in webmaster tools (pe buna dreptate). As vrea sa blochez paginile respective de la indexare, dar problema e ca nu pot bloca intreg directorul categories, deoarece am acolo si cateva linkuri cu categoriile principale, de care am nevoie sa fie vizibile. De exemplu:
http://www.domeniu.com/categories/fashion/
http://www.domeniu.com/categories/gossip/
http://www.domeniu.com/categories/howtos/
Intrebarea mea e daca pot folosi o combinatie de Disallow/Allow in robots.txt pentru directorul categories. Stiu, e un workaround, nu o solutie si stiu ca in principiu se poate, dar vreau sa stiu daca a mai folosit cineva metoda asta si cu rezultate pozitive, pentru ca la mine e prima data cand folosesc si Allow. Ceva in genul asta ma gandeam:
User-agent: *
Disallow: /categories/
Allow:
/categories/fashion/
/categories/gossip/
/categories/howtos/
Mersi in avans :*