Salut,

Daca vrei sa faci tu ceva ai urmatoarele variante.

Varianta costisitoare (nu depinzi de marimea proiectului):

Daca ai ceva cunostinte de programare si timp sa realizezi chestia asta, poti sa faci o indexare din PHP folosind cURL:

1. accesezi prima pagina a site-ului;
2. scoti toate tagurile care nu te intereseaza din html-ul rezultat si stochezi intr-o baza de date (asta e .. iti trebuie baza de date: url => continut);
3. iei toate linkurile interne din prima pagina si cu fiecare repeti pasii 1+2;

Dezavantajul variantei este ca in mom. in care ti se modifica continutul trebuie sa refaci indexarea (suna a Google nu ? ).

Varianta mai simpla (depinde de cat de mare e proiectul):

Refaci site-ul sa foloseasca o baza de date.