Am zis sa incerc un "bot trap", un link gol catre un folder fantoma care baneaza ip-ul.
Nevrand sa blochez crawlerii buni, i-am dat Disallow: din robots.txt, problema este ca in 8h a banat doar 2 ip-uri, apartinand Yahoo.

Deci intrebarea este : de ce a ignorat yahoo-ul fisierul robots

Cod:
User-agent: *
Disallow: /folder/