Www.murfi.ro

[Toto]

<div class='quotetop'>QUOTE(necenzurat &#064; Mar 6 2006, 07&#58;25 PM) Quoted post</div><div class='quotemain'>
interesant da nu am domeniu deci cam nefolositor [/QUOTE]
pentru tine...


<div class='quotetop'>QUOTE(necenzurat &#064; Mar 6 2006, 07&#58;25 PM) Quoted post</div><div class='quotemain'>
1 nu imi place cum afisezi rezultatele unei cautari parca is prea stranse pe mijloc zici ca e un sitesearch
[/QUOTE]
Multumesc de observatie... dar nu prea inteleg... Si nici nu vreau sa dezvoltam subiectul ..

<div class='quotetop'>QUOTE(necenzurat &#064; Mar 6 2006, 07&#58;25 PM) Quoted post</div><div class='quotemain'>
2 pool-ul de vot e cam varza, am votat de 2 ori in el lucru neobisnuit [/QUOTE]
Nu este varza.. poti vota si de 10 ori .. Pentru ca este posibil ca la o cautare sa vrei sa dai nota maxima, iar la o alta cautare sa dai nota minima.. Astfel pot afla unde sunt probleme, de ce nu se intorc rezultate bune intotdeauna, etc ...

<div class='quotetop'>QUOTE(necenzurat &#064; Mar 6 2006, 07&#58;25 PM) Quoted post</div><div class='quotemain'>
3 http://ads.murfi.ro/ spuneai ca se face pana pe 1 marte, suntem in 6 banuiesc nu :p [/QUOTE]
Da, sistemul nu a atins inca nivelul pe care il doream si de aceea am decis sa amanam.

<div class='quotetop'>QUOTE(necenzurat &#064; Mar 6 2006, 07&#58;25 PM) Quoted post</div><div class='quotemain'>
4 http://www.murfi.ro/motor-de-cautare.php <-- pe cuvant daca am inteles ce vrea sa zic asta, da eu ca utilizator normal nu vreau sa ma complic cu +, - , etc [/QUOTE]
Pai cred ca e foarte simplu de inteles ce se explica acolo.. daca nu vrei sa intelegi sau sa folosesti operatori de cautare este alta treaba...

<div class='quotetop'>QUOTE(necenzurat &#064; Mar 6 2006, 07&#58;25 PM) Quoted post</div><div class='quotemain'>
5 si in ultimul rand vreazu sa zic mainpage-ul e exagerat de incarcat cu informatii :o, uitate la GOOGLE uite cat de simplu poate sa fie [/QUOTE]
Poate da.. poate nu .. discutabil... Nu cred ca este chiar asa de incarcat.. in afara acelor "Noutati" care sunt 2, 3 maxim , in orice moment, cred ca e o pagina chiar goala.. poate prea goala...

<div class='quotetop'>QUOTE(necenzurat &#064; Mar 6 2006, 07&#58;25 PM) Quoted post</div><div class='quotemain'>
sa nu o iei in nume de rau vruiam duar sa imi exprim niste opinii din partea mea poti sau nu poti sa le iei in considereare, noroc [/QUOTE]
Tin seama intotdeauna de ideile sau sugestiile bune... Si atata timp cat critica nu este de tip distructiv sau rau intentionata nu am de ce sa "port pica" ...

[tataraseni]

@toto

am si eu o intrebare pentru tine : ai o echipa de beta-testeri pentru modulul ads ? Pentru ca oricat de exigent ai fi tu exista posibilitatea de a-ti scapa ceva, un bug oricat de mic (sau poate nu). La un moment ti-am semnalat un bug destul de serios dar nu ti-am dat si detalii. Nu stiu daca mai este prezent dar daca vrei sa-ti spun despre ce este vorba contacteaza-ma pe privat.

[Cristian Mezei]

Ce aprere aveti sa facem o sectiune de beta testing (PUBLICA) pentru produsele software (desktop sau web) ale membrilor ?

[Toto]

Quoted post[/post]</div><div class='quotemain'>
Ce aprere aveti sa facem o sectiune de beta testing (PUBLICA) pentru produsele software (desktop sau web) ale membrilor ?

Pai nu asta e rolul "Studii de caz" ? ... mai mult sau mai putin ..
Daca nu, atunci ar fi misto... insa nu vad cum ar putea functiona o astfel de sectiune... care sa fie chiar de teste pe siteuri si aplicatii dezv de forumisti ..

PS
Discutia asta, ca si cea dezvoltata de un alt membru in topicul asta, ar trebui sa aiba loc in alta sectiune.. nu prea are legatura cu murfi .. Insa oricum ar fi,]
Ce aprere aveti sa facem o sectiune de beta testing (PUBLICA) pentru produsele software (desktop sau web) ale membrilor ?
[/QUOTE]

Pai nu asta e rolul "Studii de caz" ? ... mai mult sau mai putin ..
Daca nu, atunci ar fi misto... insa nu vad cum ar putea functiona o astfel de sectiune... care sa fie chiar de teste pe siteuri si aplicatii dezv de forumisti ..

PS
Discutia asta, ca si cea dezvoltata de un alt membru in topicul asta, ar trebui sa aiba loc in alta sectiune.. nu prea are legatura cu murfi .. Insa oricum ar fi, eu sunt "pentru" ideea ta ..

[Ciprian Sorlea]

Quoted post[/post]</div><div class='quotemain'>

Pai nu asta e rolul "Studii de caz" ? ... mai mult sau mai putin ..
Daca nu, atunci ar fi misto... insa nu vad cum ar putea functiona o astfel de sectiune... care sa fie chiar de teste pe siteuri si aplicatii dezv de forumisti ..

PS
Discutia asta, ca si cea dezvoltata de un alt membru in topicul asta, ar trebui sa aiba loc in alta sectiune.. nu prea are legatura cu murfi .. Insa oricum ar fi, eu sunt "pentru" ideea ta ..

Continui partea de offtopic:

Un proces ideal ar fi urmatorul:
- ownerul unui site/software realizeaza un test case (de obicei in excel se fac chestiile astea) care sa contina diverse teste, fiecare test cu pasii exacti si expected results.
- testerul ia test-case-ul, face fiecare test in parte, verifica rezultatele actuale daca coincid cu expected results, caz in care marcheaza testul cu PASS, altfel noteaza rezultatele obtinute si marcheaza testul cu FAIL.
- test-case-ul se completeaza cu informatii suplimentare despre contextul de testare si datele de test folosite.
- testerul trimite test-case-ul completat pe email sau se incarca pe un server ftp
- ownerul logheaza bug-uri referitoare la toate FAIL-urile din test-case, in caz ca nu exsta un bug deja, si trimite un raport pe email testerului cu numarul bug-urilor introduse (asta daca nu se poate da access la sistemul de bug tracking).
- la urmatorul build/release, ownerul trimite un release notes catre toti testerii, care vor putea testa noua versiune si verifica fixurile pentru bug-urile marcate ca fiind fixate. Acest proces se numeste BUG REGRESSION.

Gata cu offtopicul. Daca se gasesc oameni interesati de un asemenea proiect, eu pot oferii fiecarui "OWNER" consultanta necesara implementarii unui]

Pai nu asta e rolul "Studii de caz" ? ... mai mult sau mai putin ..
Daca nu, atunci ar fi misto... insa nu vad cum ar putea functiona o astfel de sectiune... care sa fie chiar de teste pe siteuri si aplicatii dezv de forumisti ..

PS
Discutia asta, ca si cea dezvoltata de un alt membru in topicul asta, ar trebui sa aiba loc in alta sectiune.. nu prea are legatura cu murfi .. Insa oricum ar fi, eu sunt "pentru" ideea ta .. [/QUOTE]

Continui partea de offtopic:

Un proces ideal ar fi urmatorul:
- ownerul unui site/software realizeaza un test case (de obicei in excel se fac chestiile astea) care sa contina diverse teste, fiecare test cu pasii exacti si expected results.
- testerul ia test-case-ul, face fiecare test in parte, verifica rezultatele actuale daca coincid cu expected results, caz in care marcheaza testul cu PASS, altfel noteaza rezultatele obtinute si marcheaza testul cu FAIL.
- test-case-ul se completeaza cu informatii suplimentare despre contextul de testare si datele de test folosite.
- testerul trimite test-case-ul completat pe email sau se incarca pe un server ftp
- ownerul logheaza bug-uri referitoare la toate FAIL-urile din test-case, in caz ca nu exsta un bug deja, si trimite un raport pe email testerului cu numarul bug-urilor introduse (asta daca nu se poate da access la sistemul de bug tracking).
- la urmatorul build/release, ownerul trimite un release notes catre toti testerii, care vor putea testa noua versiune si verifica fixurile pentru bug-urile marcate ca fiind fixate. Acest proces se numeste BUG REGRESSION.

Gata cu offtopicul. Daca se gasesc oameni interesati de un asemenea proiect, eu pot oferii fiecarui "OWNER" consultanta necesara implementarii unui astfel de sistem.

Bafta.

[Ioan Margineanu]

Scuze dar nu am putut sa ma abtin

testerul se trimite pe email sau se incarca pe un server ftp

:lol:

[Ciprian Sorlea]

Quoted post[/post]</div><div class='quotemain'> Scuze dar nu am putut sa ma abtin
:lol:

Wise guy

Am corectat. Se mai ] Scuze dar nu am putut sa ma abtin
:lol: [/QUOTE]

Wise guy

Am corectat. Se mai intampla si la case mai mari.

[serban]

sal

toto, deoarece am creat un crawler asemanator, sunt interesat de subiect, si am urmatoarele intrebari:

- cat de mare este baza de date, cate pagini unice/sau aproape unice ai indexate?
- crawlerul suporta redirecturi?
- ai sistem de cache al paginilor indexate, dar a rezultatelor din cautari?
- ai protectie impotriva SID-urilor? (ex. forum.seopedia.ro/index.php?s=080eda22c2734a5f4ad2b720f1c6de95&showtopic=1360)
- ai vreun sistem de realtime sau postprocesare pt pagini duplicate?
- faci ranking per cuvant, sau te bazezi pe calcule in momentul cautarii (word occurence?)?
- rezultatele le grupezi din php sau mysql? ai reusit sa le grupezi gen google, adica sa arati si pagina a 2-a cu rating egal din aceelasi URL
- rulezi procesul de indexare pagini de pe windows sau linux. ai avut pana acum probleme cu PCRE sai POSIX (segmentation fault, probleme de memorie) din cauza regex-urilor?
- cat de rapid este la indexarea paginilor unui URL local (deci nu tinem cont de conexiune)?

m-ar interesa o discutie bazata pe cifre si facts

eu am trecut prin majoritatea problemelor de mai de sus (as putea sa detaliez daca se doreste o astfel de discutie), unele insa raman din cauza limitarilor...

felicitari pt murfi, consider ca este mare lucru sa te apuci de un motor de cautare, pt ca necesita multa munca si studiu&#33;

[Toto]

Salut Serban,

- cat de mare este baza de date, cate pagini unice/sau aproape unice ai indexate?
Pai baza, acum, aste de ordinul sutelor de MB ... Teoretic nu exista pagini duplicat.

- crawlerul suporta redirecturi?
Acum nu... in curand da.

- ai sistem de cache al paginilor indexate, dar a rezultatelor din cautari?
Da, da.

- ai protectie impotriva SID-urilor? (ex. forum.seopedia.ro/index.php?showtopic=1360)
Da, insa am observat ca mai este de lucru la el... mai are... "scapari"...

- ai vreun sistem de realtime sau postprocesare pt pagini duplicate?
Nu este un sistem separat. Este o componenta a crawlerului.

- faci ranking per cuvant, sau te bazezi pe calcule in momentul cautarii (word occurence?)?
Nu, murfi nu face ranking pe cuvant. Rankul unei pagini este calculat in functie de mai multi factori, asta ca rank general. Ca si pozitie in rezultatele cautarii, rankul este calculat "on the fly", tinandu-se cont de rankul paginii si de alti factori, printre care si word occurance.

- rezultatele le grupezi din php sau mysql? ai reusit sa le grupezi gen google, adica sa arati si pagina a 2-a cu rating egal din aceelasi URL?
Paginarea rezultatelor (daca am inteles bine prima parte a intrebarii) se face in php. A doua parte a intrebarii nu prea am inteles-o ...

- rulezi procesul de indexare pagini de pe windows sau linux. ai avut pana acum probleme cu PCRE sai POSIX (segmentation fault, probleme de memorie) din cauza regex-urilor?
Am dezvoltat un instrument, pe care eu l-am denumit "crawler" (desi nu este doar atat) ... Si i-am pus numele oficial cu care se prezinta el, "murficom" . Murficom-ul este capabil sa ruleze pe statii linux sau windows si sper eu in curand si pe Mac. Referitor la cealalta intrebare, raspunsul este nu...

- cat de rapid este la indexarea paginilor unui URL local (deci nu tinem cont de conexiune)?
Sincer, nu l-am testat niciodata pe local... numai pe internet l-am testat, ca sa fie cat mai aproape de adevar. Este adevarat, ca a mai existat o versiune (si nu stiam la care sa raman) in care paginile erau salvate pe server de crawler, dupa care venea un indexer si le procesa... Deci totul de intampla local. Am renuntat la aceasta solutie datorita lipsei de hardware care ar fi fost necesar. Mai exact, as fi avut nevoie de un cluster, ca sa fie treaba tare... altfel, poate fi folosita solutia si pe un server normal, insa am preferat sa las aceasta idee pe mai tarziu...
Indexarea pe internet se face destul de repede zic eu... aproximativ 25.000 de pagini/24 ore, ruland doar un crawler. Se pot rula mai multe crawlere si atunci rezultatele sunt mult mai spectaculoase.

M-ar interesa o discutie bazata pe cifre si facts
Si pe mine, in masura in care iti pot raspunde o voi face.

felicitari pt murfi, consider ca este mare lucru sa te apuci de un motor de cautare, pt ca necesita multa munca si studiu&#33;
Multumesc. Si ai mare dreptate, este destula munca... Insa partea cea mai grea, dupa mine, a fost studiul...
"schema-rea" , etc ... Bine, orice proiect necesita munca, studiu, etc, si nu vreau sa fac pe victima... insa ma deranjeaza cand mai aud/vad rautati... dar nici fara ele nu putem&#33;

Hai bye, si merci pentru intrebari. Daca mai ai si altele sau daca ai idei as fi bucuros sa le aud/vad.

[serban]

<div class='quotetop'>QUOTE(toto &#064; Mar 16 2006, 02&#58;21 PM) Quoted post</div><div class='quotemain'>
- cat de mare este baza de date, cate pagini unice/sau aproape unice ai indexate?
Pai baza, acum, aste de ordinul sutelor de MB ... Teoretic nu exista pagini duplicat.
[/QUOTE]

eu la 2k, a 2-a versiune am avut 1,5 giga, 400 site-uri in index, peste 400.000 pagini (1% duplicate), totalizand peste 11 milioane de records in mysql. din cauza asta imi cauta ft greu, dar cu rezultate ft bune, excelente dpdv al relevantei

<div class='quotetop'>QUOTE(toto &#064; Mar 16 2006, 02&#58;21 PM) Quoted post</div><div class='quotemain'>
- ai vreun sistem de realtime sau postprocesare pt pagini duplicate?
Nu este un sistem separat. Este o componenta a crawlerului.
[/QUOTE]

asta s-ar putea sa devina o problema pe viitor, pentru ca acest lucru va manca memorie, si timp de procesare.

<div class='quotetop'>QUOTE(toto &#064; Mar 16 2006, 02&#58;21 PM) Quoted post</div><div class='quotemain'>
- faci ranking per cuvant, sau te bazezi pe calcule in momentul cautarii (word occurence?)?
Nu, murfi nu face ranking pe cuvant. Rankul unei pagini este calculat in functie de mai multi factori, asta ca rank general. Ca si pozitie in rezultatele cautarii, rankul este calculat "on the fly", tinandu-se cont de rankul paginii si de alti factori, printre care si word occurance.
[/QUOTE]

tehnologia on the fly merge numai daca retii toate informatiile despre pagina (ex. text, title, meta) in db, ceea ce este cam deficitar. asa am avut pe 2k, si am ajuns la niste dimensiuni ft mari ale tabelelor.
chestia asta ar merge daca faci o cautare in 3 campuri sa zicem camp1,camp2,camp3 fiecare aparitie a cuvantului in anumit camp fiind cotata diferit: rank1 x NR_OCCURENCE + rank2 x NR_OCCURENCE + ... = TOTAL (unde rank1, rank2 sa fie coeficienti in functie de gravitatea campului). asta ar merge la un db static, dar nu cred ca merge eficient (si se vede in relevanta rezultatelor) pe limbaj descriptiv cum e html.

noi am observat ca e deficitara treaba cu ranking pe loc, consuma extraordinar de multe resurse, deci trebuie facuta intr-un postproces. parere personala aici

<div class='quotetop'>QUOTE(toto &#064; Mar 16 2006, 02&#58;21 PM) Quoted post</div><div class='quotemain'>
- rezultatele le grupezi din php sau mysql? ai reusit sa le grupezi gen google, adica sa arati si pagina a 2-a cu rating egal din aceelasi URL?
Paginarea rezultatelor (daca am inteles bine prima parte a intrebarii) se face in php. A doua parte a intrebarii nu prea am inteles-o ...
[/QUOTE]

vezi poza atasament. nu am screenshot vechi la 2k, reusisem si noi acolo, la paginile cu acelasi rank din cadrul aceluias domeniu .ro. din php s-a facut treaba, din mysql era time consumming

<div class='quotetop'>QUOTE(toto &#064; Mar 16 2006, 02&#58;21 PM) Quoted post</div><div class='quotemain'>
- rulezi procesul de indexare pagini de pe windows sau linux. ai avut pana acum probleme cu PCRE sai POSIX (segmentation fault, probleme de memorie) din cauza regex-urilor?
Am dezvoltat un instrument, pe care eu l-am denumit "crawler" (desi nu este doar atat) ... Si i-am pus numele oficial cu care se prezinta el, "murficom" . Murficom-ul este capabil sa ruleze pe statii linux sau windows si sper eu in curand si pe Mac. Referitor la cealalta intrebare, raspunsul este nu...
[/QUOTE]

e bine ca poti sa rulezi crawlerul din win si nix, am observat ca in windows merge mai bine in sensul ca nu ai sanse sa-ti dea erori de memorie, asta pt ca stackul windows este mai inimos. asta am inteles-o de la un oficial php.net. eu am fost nevoit sa apelez la un patch pentru php 5.x care sa-mi permita sa pot sa rulez expresii regulate care au o recursivitate crescuta. imi dadea segmentation fault cand intalnea cod mai des. din windows niciodata nu am avut probleme.

<div class='quotetop'>QUOTE(toto &#064; Mar 16 2006, 02&#58;21 PM) Quoted post</div><div class='quotemain'>
- cat de rapid este la indexarea paginilor unui URL local (deci nu tinem cont de conexiune)?
Sincer, nu l-am testat niciodata pe local... numai pe internet l-am testat, ca sa fie cat mai aproape de adevar. Este adevarat, ca a mai existat o versiune (si nu stiam la care sa raman) in care paginile erau salvate pe server de crawler, dupa care venea un indexer si le procesa... Deci totul de intampla local. Am renuntat la aceasta solutie datorita lipsei de hardware care ar fi fost necesar. Mai exact, as fi avut nevoie de un cluster, ca sa fie treaba tare... altfel, poate fi folosita solutia si pe un server normal, insa am preferat sa las aceasta idee pe mai tarziu...
Indexarea pe internet se face destul de repede zic eu... aproximativ 25.000 de pagini/24 ore, ruland doar un crawler. Se pot rula mai multe crawlere si atunci rezultatele sunt mult mai spectaculoase.
[/QUOTE]

exact asa am facut noi, am luat-o invers. dai pe net cu el, si vezi probleme. cand trebuia sa-l bagam mai intai la site-urile locale unde eliminam problema conexiunii si vedeam intr-un timp rapid erorile.
local iti spun eu ca poate sa duca si pana la 20 pagini pe secunda cu tot cu alte procesari (o sa pun screenshot)

versiunea aia cu paginile local si dupa aia ranking este cea mai buna solutie&#33; exact la asta sunt eu acum. am impartit tot in 4 procese.
- fetching de pagini + procesare statistici cuvinte
- creare dictionar cuvinte in baza fisierelor salvate mai sus
- creare ranking cuvinte in baza dictionarului si a paginilor
- cautare (aici e mult de lucru)

problema hardware este intr-adevar una nasoala.



o sa pun mai multe detalii si screenshots in cursul saptamanii. eu lucrez la 2k.ro din pasiune, iar ce desprind din el dezvolt la serviciu ocazional.
te rog ia aprecierile de mai sus ca pe niste pareri personale, pe care le-am desprins din experienta si problemele de care m-am lovit. totusi eu la 2k lucrez 1 data pe sapt, deci ft rar.


eu o sa incerc sa pun pe picioare noua versiune 2k cat mai rpd, si vom discuta online direct pe problema.