Salut,
Daca vrei sa faci tu ceva ai urmatoarele variante.
Varianta costisitoare (nu depinzi de marimea proiectului):
Daca ai ceva cunostinte de programare si timp sa realizezi chestia asta, poti sa faci o indexare din PHP folosind cURL:
1. accesezi prima pagina a site-ului;
2. scoti toate tagurile care nu te intereseaza din html-ul rezultat si stochezi intr-o baza de date (asta e .. iti trebuie baza de date: url => continut);
3. iei toate linkurile interne din prima pagina si cu fiecare repeti pasii 1+2;
Dezavantajul variantei este ca in mom. in care ti se modifica continutul trebuie sa refaci indexarea (suna a Google nu ?

).
Varianta mai simpla (depinde de cat de mare e proiectul):
Refaci site-ul sa foloseasca o baza de date.