Banuiesc ca-s robotei, si isi fac aparitia de obicei seara ... in grupuri de cate 30-40, iar traficu urca destul de mult.
Versiune printabilă
Banuiesc ca-s robotei, si isi fac aparitia de obicei seara ... in grupuri de cate 30-40, iar traficu urca destul de mult.
E pe un forum, blog sau site normal?
Da niste detalii daca vrei niste raspunsuri clare.
E un forum, si-au aparut destul de recent (cam 2-3 sapt) maxim 1 luna, in conditiile in care forumul e activ de 1 an.
Is niste robotei da, de la Yahoo. Slurp mai exact.
Toata gama de 74.6.0.0 - 74.6.255.255 asa ca daca vrei sa-i opresti e simplu.
Eu nu inteleg cum poate sa-ti urce traficul din cauza lor. Am si eu asa si nu prea urca traficul decat la statistica pe care o da forumul si atat. Trafic.ro sau analytics nu arata nici o crestere.
Trafic.ro, Analitycs si altele folosesc JS pentru contorizarea traficului, de aceea crawlerii (care nu stiu JS) nu sunt contorizati, ci doar userii care au JS activat pe browsere.
Este vorba de Yahoo crawler (Slurp), care nu trebuie stopat, ci doar incetinit. Fiind un bot "cuminte", respecta regula de revenire pe site dupa un timp minim specificat. Astfel, se poate pune in robots.txt:
astfel incat Slurp va accesa site-ul cel mult 1 data la 5 secunde.Citat:
User-Agent: Slurp
Crawl-delay: 5