Citat Postat în original de StarNET Vezi Post
@haos probleme de hosting nu vor fi , robots.txt ar insemna inca o accesare in plus la fiecare crawl ... pe de o parte e ok sa tii cont de robots.txt pe de alta parte 99.999% din site-uri nu vor sti de mine si nu se vor obosi sa ma adauge in robots.txt, prin urmare eu zic ca nu se merita
Nu s-o merita, dar ar fi etic sa o faci!