Robots.txt Wordpress si Mobile Friendly

[Pami]

Nelamurire robots.txt Wordpress!

Am vazut peste tot ca se recomand urmatoarea structura robots pentru wordpress:

User-agent: *

Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/themes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Allow: /feed*
Allow: /wp-content/uploads

La testul Mobile Friendly, din cauza optiunii "Disallow: /wp-content/themes", testul esueaza si spune ca site-ul nu intruneste conditiile mobile friendly si ca sunt blocate optiuni in robots.txt care impiedica verificarea!
Daca scot aceasta optiune, totul este ok..."Minunat! Aceasta pagina este adecvata pentru mobil."

Nelamurirea - Chiar este necesara blocare temei? Avand in vedere cele expuse mai sus, care este solutia de compromis? Se poate si fara, exista vreun pericol?

Thanks!

[Olivian Breda]

În opinia mea, pe wordpress ar trebui să ai disallow doar la /wp-admin și la /wp-includes.

[Pami]

În opinia mea, pe wordpress ar trebui să ai disallow doar la /wp-admin și la /wp-includes.

Multumesc, am sa am in vedere opinia ta, insa dat fiind faptul ca e o problema de actualitate cu mobile friendly asta, mai astept si alte opinii. Chiar as vrea sa dezvoltam putin subiectul sa vedem daca au mai patit si alte persoane aceasta problema si daca au recurs la aceeasi solutie de a renunta la acel disallow al temei. Bineinteles daca se doreste.

Apropo, tu ai decat wp-admin si wp-includes disallow?

[Olivian Breda]

Da, în general nu e nevoie neapărat nici pentru ele, wordpress are redirect automat, în mod normal oricum nu ar trebui să indexeze Google vreunul din acele directoare.

[Mishu]

Adica degeaba ai mobile friendly daca Google bot nu poate inspecta tema? Sau cu ce ai facut testu?

In ceea ce ma priveste folderele din wp_content le-am adaugat doar in cazurile in care accidental a fost indexat ceva de pe acolo. Foloseam pe vremuri un plugin (Hana FLV Player) care mereu era indexat si pentru asta am adaugat si a ramas Disallow: /wp-content/plugins/.
Directivele Allow nu cred ca isi au rostul in exemplul prezentat de tine, nu ai Disallow pe folderele anterioare.

[Pami]

Adica degeaba ai mobile friendly daca Google bot nu poate inspecta tema? Sau cu ce ai facut testu?

Cam asa!
Cu testul default al lui Google!

Structura de am prezentat-o la inceput, am vazut ca e mult vehiculata pe majoritatea site-urilor de specialitate. Cateva exemple:

https://www.corephp.com/blog/ultimate-guide-write-perfectly-optimized-robots-txt-file-wordpress/

http://diywpblog.com/how-to-configure-robot-txt-for-wordpress/

http://webpageadvisor.com/wordpress-robots-txt-files-explained/

http://www.paulund.co.uk/wordpress-robots-txt-optimization

[Mishu]

Cred ca e si aici valabila chestia cu spune unul o prostie si altii o preiau de buna.
Implicit toate adresele sunt Allow pentru toti botii. In cazul asta ce rol ar putea avea Allow pe feed si pe uploads?
Allow se foloseste doar pentru adresele incluse intr-un Disallow dar si aici am vazut discutii legate de ordine. Nu am testat niciodata, am preferat sa evit...

In principiu, fisierul robots.txt trebuie sa contina un link spre un sitemap valid (sau un index de sitemap-uri) si regulile generale de acces pentru boti.
Am vazut ca multi il folosesc ca filtru pentru bad-bots, am pus si eu pentru cateva site-uri pe o gazduire mai cu probleme, dar am vazut ca au disallow si boti care poate nu sunt tocmai rai, unul fiind cel de la web.archive org.

Daca ai problema de care zici si vrei totusi sa pui disallow pe folderul temelor, incerca
Allow: /wp-content/themes/folder_tema_actuala
Disallow: /wp-content/themes
Cica asta ar fi ordinea "recomandata", dar poti sa incerci si invers.

Oricum, nu e alt pericol decat ca motoarele de cautare sa indexeze cine stie ce balarii de prin teme. Dar sansele sunt minime.

[Pami]

Multumesc Mishu!

Nu vreau neaparat, vroiam sa stiu daca mai foloseste cineva structura aia de robots si daca a intampinat aceeasi problema. Legat de Allow implicit, ai dreptate. Pe mine ma intereseaza mai mult Disallow si faptul ca se zice ca nu e bine sa-si bage botii nasul peste tot. Si nu numai botii! Dat fiind faptul ca Wordpress e destul de vulnerabil la anumite chestii.
Oricum am scos disallow la tema si e ok acum!