Am facut si eu la un moment dat un mic search engine pt. forumuri.
Indexasem cateva milioane de pagini. Din aceasta experienta mai retin printre altle faptul ca: daca scoti din pagini lucruri mai putzin necesare (css, javascript, html, spatii etc atunci ramai cam pe la 3-4-5k per pagina).
Daca folosesti mysql poti sa prinzi curaj si sa folosesti compresie si scade cam la 20%. Inca mergea ok cautarea cu full text search la cateva milioane de pagini in index si pe un server micutz (acum multi au desktopuri mai puternice).
Asta este link-ul live:
www.forumsquery.com
Nu va asteptatzi la cine shtie ce pt. ca nu s-a mai ocupat nimeni de el de peste 2 ani.