E de ajuns PHP si MySQL.
Daca ai doar o lista limitata de siteuri, faci o pagina separata unde pui toate adresele siteurilor ce vor fi indexate. Pornind de la acea pagina, robotul va indexa in baza de date fiecare site. La fiecare vizita, robotul va extrage din site titpul, descrierea si o versiune text cu continutul paginii. Apoi, pornind de la prima pagina, va urma toate legaturile catre paginile din interiorul siteului si le va indexa pe fiecare. Idem pentru fiecare site. In finctie de cat de des se schimba continutul siteurilor, se face o alta reindexare.
Cam asta ar fi algoritmul teoretic, pe scurt.... Practic, e mult mai complex