Postat în original de
felix
12- General: Limitarea din robots.txt a folder si fisiere care vreti sa nu fie vizitate de boti si spideri, exemplu:
User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Configurarea robots.txt este ceva mai complexa si difera de la o platforma la alta, ATENTIE MARE LA CONFIGURARE!!!! mai bine cere 5 pareri sa nu ai probleme.
robots.txt nu are legatura cu securitatea, prin acest fisier ii rogi pe unii boti sa nu iti acceseze si indexeze o anumita pagina sau director, ei pot tine cont sau nu de aceasta cerinta a ata, iar hackerii fii sigur ca nu se vor sinchisi de ce ai pus tu in robots.txt, nici google nu tine cont intotdeauna, de scanat oricum o va scana, dar probabil nu o va indexa
Nu ma pricep la SEO dar ma bag in seama
Răspunde cu citat
