Configureaza robots.txt neindexare pagini articole

[Dani]

Mersi Marius,

Am adaugat pana la urma un fisier robots.txt in root/ftp cu:

User-agent: *
Disallow: /page*
Disallow: /category/*/page*

+

<?php if ( is_single() ) { ?>
<meta name="robots" content="noindex"/>
<?php } ?>

in Header.

Iar acum imi arata asa daca dau site.tld/robots.txt

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /page*
Disallow: /category/*/page*

Am un plugin care imi arata ce anume e indexat si ce nu pentru META ROBOTS doar, pentru a vedea in timp real daca paginile categoriilor sunt indexate ori ba, n-am nici un plugin. Sper doar sa fie bun acel cod: Disallow: /page* , Disallow: /category/*/page* si sa nu imi indexeze paginile categoriilor.

[Marius Cristian]

+

<?php if ( is_single() ) { ?>
<meta name="robots" content="noindex"/>
<?php } ?>

in Header.

Acel cod php nu-ti va indexa articolele luate individual. Nu cred ca asta doresti, trebuie scos.

[Dani]

Ba da Marius, asta doresc, stiu ca suna ciudat.

[Serban Cristian]

nu era un plugin in care puteai seta la fiecare post ce doresti sa apara? gen noindex, no follow, etc

[Bogdan Calin]

nu era un plugin in care puteai seta la fiecare post ce doresti sa apara? gen noindex, no follow, etc

Ba, SEO Ultimate are de exemplu si optiunea asta.

[Dani]

Imi este neclara o chestie.

Daca pe un site am in felul urmator:

www.site.tld/page/2/
www.site.tld/categorie/page/2/
www.site.tld/categorie/subcategorie/page/2/

si vreau sa nu imi indexeze paginatia ci doar categoriile si subcategoriile, nu ar fi ok daca as pune:

User-agent: *
Disallow: /page/*/

atunci google nu ar stii ca nu trebuie sa indexeze orice incepe cu /page ?

asta ca sa nu mai stau si sa bag la mana toate categoriile si subcategoriile cu /page/*/ la urma

Care va pricepeti mai bine? Am cautat ceva legat de asta dar nu am gasit.

[danielicb]

@Dani vezi ca ti-am trimis mai sus ceva documentatie de la Yoast cu paginatia. Odata ce anumite pagini sunt indexate, nu le poti scoate din index cu Robots.txt. URL-uri paginilor raman indexate in Google, dar in SERP's nu iti mai apar titluri si metadescrieri la paginile respective. O sa ti se listeze doar URL-urile simple. Daca pui rel prev, rel next cu acel plugin, nu cred ca o sa mai ai probleme de paginatie.

[Dani]

Daniel, site-ul nu e indexat inca, vreau mai intai sa reusesc sa configurez ce anume indexez si ce nu prin robots.txt sau meta robots, iar ce mi-ai dat tu de la Yoast nu ma ajuta.

[Marius Cristian]

www.site.tld/page/2/
www.site.tld/categorie/page/2/
www.site.tld/categorie/subcategorie/page/2/

Cam asa ar fi noua structura:

User-agent: *
Disallow: /page/*/
Disallow: /*/page/*/

[danielicb]

A Deeper Look At Robots.txt
What should NOINDEX do?
Robots.txt Tutorial
Block or remove pages using a robots.txt file - Webmaster Tools Help


Poate te ajuta vreunul din acele articole, dar pentru ca paginatia sa nu iti fie indexata este cam greu sa faci din robots.txt. Cel mai bine este sa pui pe toate paginile de paginatie in meta robots noindex si follow. Daca faci cu rel prev, rel next nu o sa ai probleme in SERP's la rezultate, doar nu o sa ai sute de pagini de paginatie. Plus ca mai transmit si ele ceva PR prin site.

--- Later Edit --- (ca mi-a fost lene sa apas "Edit")

@ Dani, fii atent cum poti sa testezi daca acele pagini de paginatie, pe care vrei sa le blochezi din robots.txt (cu sintaxele pe care le scrii tu) vor fi crawlate sau nu de Google.

Intri in WMT -> Health -> Blocked URL's si acolo poti rescrie fisierul robots.txt, care este in prima casuta la http://www.site.tld/robots.txt content - edit to test changes, in casuta de mai jos poti testa un URL (unul din cele care nu vrei sa iti apara in index), mai exact in casuta URLs Specify the URLs and user-agents to test against. . Mai jos lasi la User-agents Googlebot : crawls pages for our web index and Google News.

Apesi test si o vezi rezultatele, daca pentru acele URL-uri googlebot are acces sau nu (allow sau disallow).


Acum ar trebui sa vezi cu siguranta, ce merge si ce nu pentru acele pagini care te "supara" . Succes.