Spam Detector Tool

[Dan.Rades]

Ideeile bune vin noaptea sau oare reinventez roata?
Mai exact, sa zicem ca vreau sa fac un tool prin care sa poti verifica o pagina daca contine spam. Adica se introduce intr-un textbox www.seopedia.ro si toolul respectiv imi raporteaza daca/cat/ce fel de spam contine pagina respectiva, eventual cu posibilitate de raportare automata la google,yahoo, etc. Cum la ora asta googleul&others s-au dus la culcare nu pot cauta pe net, iar eu nu stiu de existenta unui astfel de tool.

Astept sugestii, pareri sau urari de noapte buna(in caz ca mai exista ceva asemanator).

[Cristian Mezei]

Nu prea exista.

Exista tool-uri pt plagiat, cum este Copyscape.

Tot ce am vazut legat de spam este Siteadvisor, o extensie pt Firefox, ca re o folosesc in mod curent.

Daca ai face un tool cu care sa detectam spam-ul, chiar ma bag sa te ajut, cu orice pot.

Ideea excelenta nu ar fi doar sa verifici un site cu un text-box.

Ci sa caute pe web-ul romanesc (un spider, un motor de cautare, cum este Murfi), site-urile care fac spam.

[Iskander]

dap, ar fi un proiect de nisa.

trebuie tinut cont de mii de factori.... si de periodicitatea "spamului"

azi e asa maine e altfel

ce poti sa faci? ca textu e alb ca fondu? ca repeta acelasi cuvant dupa cuvant de zece ori? si altceva ?

[Dan.Rades]

Multam de raspuns!
O sa incerc sa imi fac maine timp sa pun la punct algoritmul si sa scot un draft pana luni. Initial o sa merg pe varianta cu textboxul si sa vedem cum functioneaza si pe urma vedem cum putem face si un portal.
Cand o sa am ceva concret, bag aici link. Pana atunci cine are sugestii sa le spuna

P.S.: Ce imi place la mine e ca noaptea imi vin cele mai multe ideei dastea. Am cateva pagini de agenda cu schite la proiecte pe care as vrea sa la fac. Dar ma trezesc dimineata si observ ca am cu totul altceva de facut. De ce naiba n-are ziua 48 de ore?

[Toto]

Quoted post[/post]</div><div class='quotemain'>
De ce naiba n-are ziua 48 de ore?

Nu nu.. noaptea sa aiba 48 de ore... ca sa mai ai idei d-astea... Oricum, si eu lucrez mai bine noaptea.. Fu]
De ce naiba n-are ziua 48 de ore?
[/QUOTE]

Nu nu.. noaptea sa aiba 48 de ore... ca sa mai ai idei d-astea... Oricum, si eu lucrez mai bine noaptea.. Fuckin&#39; freak&#33; :blink:

[Iskander]

eu beau noaptea

deci ca idee: du-te si vezi ce spune google despre spam, yahoo si msn. de acolo poti sa incepi un algoritm.... totusi ma indoiesc.. de ce? daca era ceva aplicabil, consider ca l-ar fi impletat deja...

[Cristian Mezei]

PS. 2.40 AM ..

Working ;

Asteptam sa ne tii la curent cu proiectul.

[Krumel]

Resurse despre Spam in categoriile din DMOZ si citeste sectiunea din forumul nostru. Am incercat sa adun diferite resurse...utile candva....
Succes si felicitati pentru initiativa.

[Dan.Rades]

Mda, deci am studiat azi vreo 2 ore problema.
Initial, vroiam sa fac o chestie mai simpla: se introduce pagina de verificat, se incarca intr-un iframe ascuns, se proceseaza cu javascript:nr. de cuvinte si expresii in keywords, title, description, cum se regasesc ele in pagina, daca exista elemente(linkuri, paragrafe, divuri, h1,2 etc) ascunse (display:none/z-index/left: -200 de ex), daca exista texte de culoarea backgroundului, spam in titleul linkurilor/imaginilor, spam intre tagul <noscript>, redirectare. Dupa procesare se raporta daca pagina contine spam si gradul acestuia.
Legat de asta(gradul spamului) ar fi de discutat, adica daca in toata pagina exista 1-2 h1 ascunse e una daca am kilometrii de spam in kewywords,divuri ascunse(sau divuri ascunse cu multe linkuri si spam in ele) e alta. Deci ar fi binevenite niste sugestii legate de modul de ranking al spamului intr-o pagina.
Cam astea ar fi fost initial. Insa sunt cateva chestii care nu se pupa:
- pentru cineva avizat nu ar fi cu mult mai utila decat un view-source, decat ca nivel de analiza(cat spam dintr-un anumit tip)
- procesarea linkurilor din pagina,la o pagina cu o adancime mare sau cu numar mare de linkuri deja nu mai e practic sa o fac client-side. Ma rog e discutabila chestia asta, adica daca pe pagina index exista spam e de presupus ca si pe celelalte este sau nu mai intereseaza daca e(o data ce mother fuckerul a spamat, il declar ca spam si gata). Pe de alta parte, daca nu urmez linkurile(ma refer la cele din acelasi domeniu) nu pot sa detectez spamul de tip machine-generated pages sau domeni duplicat.
- ideea de a face un spider care sa caute spamul si un portal pentru asta prezinta potential si incepe sa-mi placa din ce in ce mai mult. Asta inseamna cod serverside. Creste complexitatea(cu mult), scade posibilitatea de analiza a javascriptului si cssului din pagina. Insa imi creste foarte mult puterea de analiza in timp, pentru ca pot indexa pagina respectiva, pot vedea cum a evolueaza spamul in pagina sau daca dispare, pot urmarii mult mai bine linkurile din pagina(ma gandesc ca harvestand linkurile din paginile cu spam si folosind google search api sa fac ca o harta neagra a domeniilor de linkspam), raportari periodice la google ale paginilor din bd... in fine se pot face multe.
Ma gandesc sa folosesc phpdig(nu l-am folosit niciodata, trebuie sa ma uit peste cod sa vad cat de simplu e de modificat/extins). Daca aveti alte sugestii la alt script le astept(oricum o sa mai caut si eu pe net sa vad ce mai exista).

Ok, cam atat despre asta azi. Probabil ca o sa dureze ceva pana o sa am o implementare functionala(ca deh sunt in urma cu niste chestii de numa).

Pana atunci astep sugestiile si sfaturile voastre aici.

[GExGE]

talk to murfi.ro poate faceti ceva impreuna