Script Anti-scan

[B3aT]

Cine stie de vreun script anti-scan sau macar sa ma ajute cu ip`urile.

Vreau sa fac un script care sa baneze ip`ul respectiv daca scaneaza site-ul (offline saver inclusiv). Teoria e daca vezimai mult de y pagini in x secunde (10 pagini in 3 secunde cam asa) inseamna ca scanezi.
As face un fel de buffer in baza de date (ultimele 10 pagini vizitate si sa retin timestampu la fiecare) sau o variabila pe sesiune.

Oricum problema este sa nu banez vreun bot de la google. Niste baieti mi-au recomandat site-ul iplists com care are listele de ipuri de la motorarle de cautare. Problama e ca am facut un mic test si botul google care mi-a scanat siteul nu se afla in listele alea.
Am vazut site-uri mari care isi protejeaza continutul ca au si ban pe timp petrecut pe site (un client nu poate sa stea mai mult de 2h) si anti scan, deci se poate.

Singura solutie ar fi sa ii dau drumu si sa verific fiecare ip banat. daca apartine vreunu companiei google il trec pe accepted list.
Desigur nu este 100% sigur, cei care scaneaza prin sute de proxyuri nu vor fi gasiti asa usor.

Stiti de unde altundeva as putea sa adun ip`urile ? Sau cum ati face voi un asemenea script.

ps poate topicul ar sta mai bine la Utile

[B3aT]

am facut scriptul, am adunat cateva *multe clase ale botilor si acum urmeaza testarea reala.
Vad ca nu e lumea interesata de protejarea informatiilor...adevarat e ca nu multi muncesc cateva saptamani luni pentru adaugare de continut *greu

[rollo]

Man, dar teoretic, daca cineva isi pune mintea si vrea intr-adevar sa te "scaneze", oricum va reusi. Va seta spideru sa ruleze mult mai lent, cu pauza si-l va lansa de pe mai multe ip-uri...cu 100$ iti iei foarte multe ip-uri. In fine, daca ai succes, as fi curios sa aflu detalii.


R.

[B3aT]

daca chiar vrea datele si stie meserie sau are $ sparge scriptul sau Baza de date si gata ... dar totusi macar sa nu puna mana pe date oricine care stie de existenta unui offline saver
Pana si scriptul asta poate fi ocolit dar ideea e macar sa se chinuie

[gibi]

poti frate.
exista si captcha ... pe care il afisezi...
totul faci cu sesiunile ...
gandesti un algoritm si ... apoi totul e pice of cake

[B3aT]

@gibi nu am inteles ce vrei sa spui, pui captcha la fiecare vizualizare de pagina ?

Oricum scriptul l`am instalat si merge, am prins deja mai multi spam harvesteri ,
ii baneaza cu placere...

[c_n_m]

Scriptul este interesant si din alte considerente. Daca scanarea site-ului e prea rapida si hostingul nu e destul de "tare" sau e shared, risti sa-ti puna site-ul jos. Intr-un astfel de caz banarea ar trebui facuta in cazul in care numar de pagini accesate depaseste o anumita valoare in unitatea de timp. Banarea propriu-zisa nu se face greu, mai greu este sa tii trackingul fiecarui vizitator. Ai folosit sesiuni sau baza de date?

Later Edit: am gasit un script bazat pe bot-trap aici si unul care contorizeaza timpul dintre accesari aici, scripturile pot fi bineinteles customizate dupa necesitatile fiecaruia

[B3aT]

da faza cu link`ul ascuns e buna, mai ales daca vad acolo un /admin/ acolo intra prima oara cei care vor sa "investigheze" sau botii, e o capcana usoara.

Plus pe langa avantajele evidente (tine spamerii si alte tipuri de scanari deoparte) mai coneaza la cei care au host platit pe trafic, sau cum zici tu pe un server slab poate omora procesorul.
Am folosit o tabela care se curata singura, pentru ca trebuie sa retin ultimele pagini scanate, sa ma asigur ca nu e o greseala, si timestampu lor, de obicei botii au cate 2-5 sesiuni deschise simultan, si te convingi imediat care a fost treaba.
S`a mai intampla sa dea cineva refresh pe o singura pagina is a fost banat (s-a chinuit ceva), normal am scos banul ....

[B3aT]

fac double post pentru ca nu are legatura cu postul trecut

scriptul a banat cateva ip`uri, care banui ca sunt boti. Dar am o oarecare indoiala. Refferul dupa care au venit este google images/web cu anumite keywords,ciudate. Sigur a fost bot deoarece a vazut cateva pagini pe secunda, intr-o ordine.

Intrebarea este pentru cine stie bine cum functioneaza google.
Cand dai search este posibil ca un script de client sa scaneze in momentul cautarii site-ul./urile, sa caute deci in timp real imagini sau text ?
Stiu ca tot google este pe server side dar am din ce in ce mai multe scanri de acest gen.
Stau si ma intreb cine ar seta botul sa caute pe google, si sa scaneze toate siteurile gasite, intr-un segment de nisa, dupa cine stie ce materiale.
sper ca m-am facut inteles

[c_n_m]

Nu stiu bine cum functoneaza Google , dar incerc sa raspund pentru ca nu cred ca are legatura cu asta. Bineinteles ca un bot poate cauta mai intai cu un motor de cautare, pentru ca mai apoi sa acceseze site-urile returnate la cautari. Daca cel care l-a facut si-a dorit sa faca asa (de ex. cu intentia de a colecta continut despre o anumita tematica, fie ca e vorba de text sau imagini), atunci asta face.