Lista IP-uri boti

[mihaitha]

Diferenta este ca eu nu preiau agentul cand mi se acceseaza robots.txt, ci adresa de IP. Astfel imi creez o lista cu ip-uri suspecte de a fi roboti, pe care le exclud din contorizare. Daca tu imi accesezi robots-ul, eu nu exclud toti vizitatorii care folosesc acelasi browser ca si tine, ci doar pe tine si cine mai intra de la ip-ul tau, in caz ca esti intr-o retea cu gateway.

Intr-adevar, sunt roboti pe care ii doare undeva de robots.txt. Sincer la aia nu prea ai ce le face, nu de alta dar in mod sigur daca un programator e suficient de destept sa faca un spam bot, il va duce capul sa-l si mascheze ca mozilla sau ie, doar nu i-o seta agentu sa zica 'hello! i'm spam!'

In rest, numai sporuri.

[serban]

Diferenta este ca eu nu preiau agentul cand mi se acceseaza robots.txt, ci adresa de IP. Astfel imi creez o lista cu ip-uri suspecte de a fi roboti, pe care le exclud din contorizare.

am ocolit subiectul cu IP-ul pt asta e si mai greu.

majoritatea robotilor lucreaza pe mai multe masini, asta banuiesc ca stiu toti de aci. dar ai sa observi ca numai 1 ip iti preia robots.txt si restul de calculatoare care lucreaza in acelasi sistem iti iau link-urile fiecare in functie de criterii, bazandu-se pe informatia preluata de primul robotzel

adica salveaza bandwidth, adica 1 ip grab robots.txt and spread, si 1000 grab links.

choose user-agent signature pt validare. robotii de spam au semnaturi normale, altii nu au deloc. aia care nu au deloc semnatura (ceva anormal) ii bagi in lista de asteptare. restul poti sa-i ignori linistit, ca nu iti indexeaza tot site-ul (majoritatea robotzeilor de spam ai limita mica)

[mihaitha]

Multzam fain. Am hotarat sa facem ceva combinat. O sa monitorizez in continuare accesele la robots.txt ca sa adun agentii, iar eliminarea o fac pe baza de agent. Sa vedem cum evolueaza lucrurile.