Cred ca e si aici valabila chestia cu spune unul o prostie si altii o preiau de buna.
Implicit toate adresele sunt Allow pentru toti botii. In cazul asta ce rol ar putea avea Allow pe feed si pe uploads?
Allow se foloseste doar pentru adresele incluse intr-un Disallow dar si aici am vazut discutii legate de ordine. Nu am testat niciodata, am preferat sa evit...
In principiu, fisierul robots.txt trebuie sa contina un link spre un sitemap valid (sau un index de sitemap-uri) si regulile generale de acces pentru boti.
Am vazut ca multi il folosesc ca filtru pentru bad-bots, am pus si eu pentru cateva site-uri pe o gazduire mai cu probleme, dar am vazut ca au disallow si boti care poate nu sunt tocmai rai, unul fiind cel de la web.archive org.
Daca ai problema de care zici si vrei totusi sa pui disallow pe folderul temelor, incerca
Allow: /wp-content/themes/folder_tema_actuala
Disallow: /wp-content/themes
Cica asta ar fi ordinea "recomandata", dar poti sa incerci si invers.
Oricum, nu e alt pericol decat ca motoarele de cautare sa indexeze cine stie ce balarii de prin teme. Dar sansele sunt minime.
Răspunde cu citat