Utilizaţi robots.txt pentru a preveni accesarea cu crawlere a paginilor din rezultatele de căutare sau a altor pagini generate automat care nu adaugă valoare mare pentru utilizatorii veniţi de la motoarele de căutare.
Ce intelegeti voi din asta?
eu unul inteleg din asta ca nu ai voie cu taguri care genereaza pagini goale si ai voie cu ele daca ele returneaza cautari relevante.