Trafic.ro, Analitycs si altele folosesc JS pentru contorizarea traficului, de aceea crawlerii (care nu stiu JS) nu sunt contorizati, ci doar userii care au JS activat pe browsere.
Este vorba de Yahoo crawler (Slurp), care nu trebuie stopat, ci doar incetinit. Fiind un bot "cuminte", respecta regula de revenire pe site dupa un timp minim specificat. Astfel, se poate pune in robots.txt:
astfel incat Slurp va accesa site-ul cel mult 1 data la 5 secunde.User-Agent: Slurp
Crawl-delay: 5



Răspunde cu citat