Mda, deci am studiat azi vreo 2 ore problema.
Initial, vroiam sa fac o chestie mai simpla: se introduce pagina de verificat, se incarca intr-un iframe ascuns, se proceseaza cu javascript:nr. de cuvinte si expresii in keywords, title, description, cum se regasesc ele in pagina, daca exista elemente(linkuri, paragrafe, divuri, h1,2 etc) ascunse (display:none/z-index/left: -200 de ex), daca exista texte de culoarea backgroundului, spam in titleul linkurilor/imaginilor, spam intre tagul <noscript>, redirectare. Dupa procesare se raporta daca pagina contine spam si gradul acestuia.
Legat de asta(gradul spamului) ar fi de discutat, adica daca in toata pagina exista 1-2 h1 ascunse e una daca am kilometrii de spam in kewywords,divuri ascunse(sau divuri ascunse cu multe linkuri si spam in ele) e alta. Deci ar fi binevenite niste sugestii legate de modul de ranking al spamului intr-o pagina.
Cam astea ar fi fost initial. Insa sunt cateva chestii care nu se pupa:
- pentru cineva avizat nu ar fi cu mult mai utila decat un view-source, decat ca nivel de analiza(cat spam dintr-un anumit tip)
- procesarea linkurilor din pagina,la o pagina cu o adancime mare sau cu numar mare de linkuri deja nu mai e practic sa o fac client-side. Ma rog e discutabila chestia asta, adica daca pe pagina index exista spam e de presupus ca si pe celelalte este sau nu mai intereseaza daca e(o data ce mother fuckerul a spamat, il declar ca spam si gata). Pe de alta parte, daca nu urmez linkurile(ma refer la cele din acelasi domeniu) nu pot sa detectez spamul de tip machine-generated pages sau domeni duplicat.
- ideea de a face un spider care sa caute spamul si un portal pentru asta prezinta potential si incepe sa-mi placa din ce in ce mai mult. Asta inseamna cod serverside. Creste complexitatea(cu mult), scade posibilitatea de analiza a javascriptului si cssului din pagina. Insa imi creste foarte mult puterea de analiza in timp, pentru ca pot indexa pagina respectiva, pot vedea cum a evolueaza spamul in pagina sau daca dispare, pot urmarii mult mai bine linkurile din pagina(ma gandesc ca harvestand linkurile din paginile cu spam si folosind google search api sa fac ca o harta neagra a domeniilor de linkspam), raportari periodice la google ale paginilor din bd... in fine se pot face multe.
Ma gandesc sa folosesc phpdig(nu l-am folosit niciodata, trebuie sa ma uit peste cod sa vad cat de simplu e de modificat/extins). Daca aveti alte sugestii la alt script le astept(oricum o sa mai caut si eu pe net sa vad ce mai exista).
Ok, cam atat despre asta azi. Probabil ca o sa dureze ceva pana o sa am o implementare functionala(ca deh sunt in urma cu niste chestii de numa).
Pana atunci astep sugestiile si sfaturile voastre aici.



Răspunde cu citat