Cum ati optimiza un motor de cautare ?

[Toto]

Salutare .. revin la acest subiect cu o rugaminte la voi ..
Am terminat o noua versiune a motorului de cautare si urmeaza o perioada de beta, in privat deocamdata ..

Detin deja o baza de date destul de mare cu site-uri, pagini, etc romanesti .. insa, fiind o versiune noua si mai buna zic eu, doresc sa introduc numai site-uri "de soi" ... Tehnica noii versiuni este este aceea de a pleca de la un numar de linkuri predefinit si cauta in continuare singur linkuri noi, plecand de la cele predefinite, etc ..

Incerc acum sa fac o lista de site-uri romanesti, din orice domeniu, de calitate superioara, pe care sa le folosesc pentru start.

Astept aici linkuri de valoare de la voi !

Multumesc anticipat .

[Krumel]

toto daca nu ai nimic impotriva, eu propun sa ti le trimita prin PM. Liste arhivare, sau link catre ftp-uri.

[Toto]

Originally posted by Krumel
[b]toto daca nu ai nimic impotriva, eu propun sa ti le trimita prin PM. Liste arhivare, sau link catre ftp-uri.

Imi este indiferent modul in care ajung aceste linkuri la mine.. Chiar nu conteaza.. Tot ce conteaza este sa ajunga si sa fie de calitate !

So, folositi orice metoda de contact ! 10x again !

[serban]

salut

pentru ca sa gasesc toate domeniile cu site-uri valabile pe *.ro eu am folosit urmatoarea tehnica:

- brute force de la 1 la 32 caractere [0-9a-b\-], de la fiecare luam doar headerul, daca aveam 200|301|302, atunci retineam adresa in db. la 301|302 sunt ceva verificari de facut, ca site-urile de chinezi cu extensia .ro te trimit la mama dracu pe la ei, deci ai grija ca redirectarea sa fie tot pe .ro . dureaza in jur de 2-3 zile depinde de conexiune, si de cum ai scris scriptul.

poti obtine un index de inceput, pe care sa-l crawleresti. solutia asta nu rezolva problema subdomeniilor valabile (ex. www.verasys.ro , copiatoare.verasys.ro , web.verasys.ro)

- alta solutie pe care am desprins-o eu de la tehnic, e o procedura legata de dns sau zone, prin care poti sa "iei" toate domeniile inregistrate prin rnc, probabil e ceva destul de simplu pt cei ce se pricep la networking.

[Toto]

Eu am avut baza veche de la murfi (versiunea 1) si am curatat-o pe aia si am plecat de le ea... Am mai adaugat de mana aproximativ 100 siteuri care nu erau si am considerat eu ca sunt reprezentative...

Am evitat orice metoda automata pentru a reduce la minim "gunoiul" in baza ...

[serban]

Quoted post[/post]</div><div class='quotemain'>
Am evitat orice metoda automata pentru a reduce la minim "gunoiul" in baza ...

corect, faza cu mentenanta bazei de date e mare problema, omoara mult timp. problema este ca la un crawler trebuie sa te gandesti: "ii dau drumul si se descurca el". ca asa nu poti sa stai tot timpul in fundul lui sa vezi: acum face loop, acum urma un redirect aiurea..

solutia pe care o vad eu este: strans tabel cu URL-uri (30.000 .ro); dat drumul la crawler prin ele, cu limita 10 adica indexeaza doar 10 pagini, facut un alt proces care sa verifice aceste pagini. verificarea ar consta in raport html/txt, nr linkuri pe pagina, ceva de genul asta prin care pui un flag la site-urile care dau bine in statistica si ince]
Am evitat orice metoda automata pentru a reduce la minim "gunoiul" in baza ...
[/QUOTE]

corect, faza cu mentenanta bazei de date e mare problema, omoara mult timp. problema este ca la un crawler trebuie sa te gandesti: "ii dau drumul si se descurca el". ca asa nu poti sa stai tot timpul in fundul lui sa vezi: acum face loop, acum urma un redirect aiurea..

solutia pe care o vad eu este: strans tabel cu URL-uri (30.000 .ro); dat drumul la crawler prin ele, cu limita 10 adica indexeaza doar 10 pagini, facut un alt proces care sa verifice aceste pagini. verificarea ar consta in raport html/txt, nr linkuri pe pagina, ceva de genul asta prin care pui un flag la site-urile care dau bine in statistica si incepi cu alea indexare serioasa.

[Netul]

Quoted post[/post]</div><div class='quotemain'>
solutia pe care o vad eu este: strans tabel cu URL-uri (30.000 .ro); dat drumul la crawler prin ele, cu limita 10 adica indexeaza doar 10 pagini,...

Si tabelul ala cu 30.000 domenii romanesti de unde il iei?
Poate cei ce detin directoare ar trebui sa se uneasca si sa puna la dispozitie o baza de date cu lista domeniilor romanesti.. eu am ]
solutia pe care o vad eu este: strans tabel cu URL-uri (30.000 .ro); dat drumul la crawler prin ele, cu limita 10 adica indexeaza doar 10 pagini,...
[/QUOTE]

Si tabelul ala cu 30.000 domenii romanesti de unde il iei?
Poate cei ce detin directoare ar trebui sa se uneasca si sa puna la dispozitie o baza de date cu lista domeniilor romanesti.. eu am vreo 1200 in baza de date

[serban]

Quoted post[/post]</div><div class='quotemain'>
Si tabelul ala cu 30.000 domenii romanesti de unde il iei?
Poate cei ce detin directoare ar trebui sa se uneasca si sa puna la dispozitie o baza de date cu lista domeniilor romanesti.. eu am vreo 1200 in baza de date

inca studiez treaba asta [url="http://forum.seopedia.ro/index.php?showtopic=1182&st=60#"]http://forum.seopedia.ro/index.ph]
Si tabelul ala cu 30.000 domenii romanesti de unde il iei?
Poate cei ce detin directoare ar trebui sa se uneasca si sa puna la dispozitie o baza de date cu lista domeniilor romanesti.. eu am vreo 1200 in baza de date
[/QUOTE]

inca studiez treaba asta http://forum.seopedia.ro/index.php?s...ic=1182&st=60#