Intrebare Robots.txt Allow

Am o mica dilema la un site personal, facut pe un script custom. Site-ul respectiv are o functie de paginatie, care creeaza URL-uri de tipul

http://www.domeniu.com/categories/2
http://www.domeniu.com/categories/3
http://www.domeniu.com/categories/4

Fiecare pagina are un titlu aproape identic si aceleasi meta tags (inclusiv description) si imi apar ca erori in webmaster tools (pe buna dreptate). As vrea sa blochez paginile respective de la indexare, dar problema e ca nu pot bloca intreg directorul categories, deoarece am acolo si cateva linkuri cu categoriile principale, de care am nevoie sa fie vizibile. De exemplu:

http://www.domeniu.com/categories/fashion/
http://www.domeniu.com/categories/gossip/
http://www.domeniu.com/categories/howtos/

Intrebarea mea e daca pot folosi o combinatie de Disallow/Allow in robots.txt pentru directorul categories. Stiu, e un workaround, nu o solutie si stiu ca in principiu se poate, dar vreau sa stiu daca a mai folosit cineva metoda asta si cu rezultate pozitive, pentru ca la mine e prima data cand folosesc si Allow. Ceva in genul asta ma gandeam:

User-agent: *
Disallow: /categories/

Allow:
/categories/fashion/
/categories/gossip/
/categories/howtos/

Mersi in avans :*

Nnu poti pune doar nofollow si noindex pe paginile alea?

Robots.txt nu e usor de folosit si risti sa scoti pagini care nu ar trebui scoase. In schimb meta tag-urile alea pot fi puse mai usor.

M-am gandit si la varianta asta, o sa il intreb pe cel ce a facut script-ul daca se poate implementa solutia cu meta robots. Cea cu robots.txt era mai degraba o solutie de avarie pana rezolv problema, pentru ca incepeau sa imi apara warning-uri in webmaster tools legate de paginatie.

Mersi oricum Krumel de sugestie.

Poti pune doar liniile astea:

User-agent: *
Disallow: /fashion/
Disallow: /howto/


Ce nu e blocat va fi indexat, deci nu e cazul sa mai pui allow.

oricum , dupa ce e downloadat robots.txt , verifica in WMT->Tools->Robots.txt mai multe pagini aleator si vezi daca sun Allow ori nu.

Citat:

---

Postat în original de evolution

oricum , dupa ce e downloadat robots.txt , verifica in WMT->Tools->Robots.txt mai multe pagini aleator si vezi daca sun Allow ori nu.

---

Nu e nevoie să aştepţi până ce Google descarcă ultima variantă a fişierului robots.txt, te poţi "juca" direct în GWT.

@Tudi: Daca rezolvi problema posteaza te rog solutia aici, am si eu o problema asemanatoare. Danke!

Eu am folosit următoarele reguli în robots.txt:

Cod:

---

Disallow: /wp-uploads/
Allow: /wp-uploads/abc/
Allow: /wp-uploads/def/

---

Testând din Google Webmasters Tools, /wp-uploads/abc/ şi /wp-uploads/def/ pot fi accesate în timp ce /wp-uploads/ şi /wp-uploads/<orice> nu pot fi accesate.