motor de cautare pt cateva site-uri

Sa presupunem ca doriti sa faceti un motor de cautare pentru cca 20 de site-uri. Motorul de cuatare va indexa automat continutul acelor site-uri, o sa fie gen google, yahoo, dar la o scara muuult mai mica. Am stat seara tercuta cu pixul si hartia incercand sa fac o schema pe baza careia va functiona moturl de cautare, dar se pare ca am intampinat de multe greutati. Scriu pe acest forum, deoarece mi se pare unul profesionist pe aceasta tema.
Mai intai vreau sa relatez ca site-urile respective sunt scrise in mai multe limbaje de programare: PHP, JSP, ASP, ASP.NET, PL, CFM.
Eu nu am mai avut experienta in dezvoltarea motoarelor de cautare, si nici in toate limbajele de programare( cunosc doar PHP si putin ASP). Ce limbaj ati crede ca este cel mai potrivit pentru a dezvolta un astfel de site. AM inteles ca exista anumite avantaje in partea PERL, Python, dar nu stiu exact de ce, poate ma ajuta cineva.
Ce ar trebui sa iau mai mult in considerare? Meta tagurile, cuvintele boldate, sau alte elemente?
Acestea sunt intrebarile urgente, altele vor veni p parcurs.

E de ajuns PHP si MySQL.
Daca ai doar o lista limitata de siteuri, faci o pagina separata unde pui toate adresele siteurilor ce vor fi indexate. Pornind de la acea pagina, robotul va indexa in baza de date fiecare site. La fiecare vizita, robotul va extrage din site titpul, descrierea si o versiune text cu continutul paginii. Apoi, pornind de la prima pagina, va urma toate legaturile catre paginile din interiorul siteului si le va indexa pe fiecare. Idem pentru fiecare site. In finctie de cat de des se schimba continutul siteurilor, se face o alta reindexare.
Cam asta ar fi algoritmul teoretic, pe scurt.... Practic, e mult mai complex :)

Incearca Sphider (sphider dot eu) cred ca este exact ceea ce cauti...

Problema nu ar fi la indexarea site-ului ci la algoritmul de cautare sa fie cat mai natural si apropiat de gandirea umana ;)

Am incercat Sphider, incearca si tu, cred ca vei fi multumit de rezultate. Numai sa ai spatiu destul...