Problema robots.txt

[bluestyle]

Am atasat 2 imagini. Explicati-mi si mie cum de webmasters imi spune ca Robots.txt imi blocheaza 439 de pagini din Sitemap, iar in momentul cand introduc in Robots Tester adresa data ca exemplu, mi se spune ca NU este blocata de Robots.txt.

In fisierul Robots am urmatoarele:

User-agent: *
Disallow: /administrator/
Disallow: /bin/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /layouts/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /*.js$,
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /*.txt$

# Easy Social
Disallow: /components/com_easysocial/
Disallow: /comunitatea-acvaristilor/
Disallow: /inregistrare

# Easy Blog
Disallow: /*categories/

# Forum Acvaristica
Disallow: /*dashboard/
Disallow: /*search/
Disallow: /*blogger/
Disallow: /*favorite
Disallow: /*atribuite
Disallow: /*medalii
Disallow: /*profil
Disallow: /*profile
Disallow: /*tags
Disallow: /*?*
Disallow: /*&*

Allow: /anunturi/categorii/
Allow: /index.php?option=com_xmap&view=xml&id=1
Sitemap: http://www.acvaristica.info/index.ph...&view=xml&id=1

Nici una dintre aceste linii n-ar trebui sa blocheze url-ul mentionat in exemplu. Asta doar daca, in loc de un url SEF de genul site.ro/categorie/pagina.html, google il vede non sef adica ceva de genul site.ro/index.php?article-129.html si atunci datorita acelui "?" sa fie blocat.
robots.jpgwebm.jpg

[puthre]

Nu se vede clar ce url-uri iti blocheaza in exemplu, pentru ca sunt truncate.

[bluestyle]

Nu stiu la ce te referi, eu vad clar ce url-uri imi blocheaza: pe toate!

[puthre]

Scoate bucati din robots.txt si vezi cand incepe sa mearga.
Oricum e cam naiv facut pentru ca blocheaza css-urile si js-urile si directiva Allow nu e standard (google o intelege, altii nu).

[bluestyle]

Sunt destul de convins ca din cauza "Disallow: /*?*, Disallow: /*&*" nu imi indexeaza paginile. Tind sa cred ca Google trebuie sa poata accesa si calea non-sef catre o pagina, chiar daca eu am url-uri sef in site.
Pentru ce este necesar ca robotii google sa acceseze css-urile si js-urile?

[puthre]

Tind sa cred ca Google trebuie sa poata accesa si calea non-sef catre o pagina, chiar daca eu am url-uri sef in site.

Nu are google de unde sa stie de alte url-uri pe care le ai tu intern.

Pentru ce este necesar ca robotii google sa acceseze css-urile si js-urile?

Pentru ca sa poata sa randeze corect pagina, pentru previews, pentru detectarea contentului "above the fold", pentru stabilirea importantei textului in functie de culoare si marime (si astea sunt doar lucrurile evidente).

[Spike]

Pentru ce este necesar ca robotii google sa acceseze css-urile si js-urile?

Conform ultimelor teorii si teste (vezi articolul asta: https://yoast.com/google-panda-robots-css-js/), e chiar contraindicat sa blochezi astfel de resurse googlebot-ului...