Ok ... update:

Ruleaza in acest moment crawlerul de mai bine de 24 de ore. Din cele 192.000 de domenii din baza de date care s-au adunat dealungu vremii ( ce a mai crawluit inainte cu ce a crawluit in ultimele 24 de ore )
in baza de date sunt deja 33848 bloguri pe blogspot iar wordpress deja 11982 ... ceea ce mi se pare un pic cam mult aia inseamna ca 1/3 din crawl s-ar duce pe bloguri pe blogspot si wordpress ... ceea ce nu e prea eficient din punctul meu de vedere ... prin urmare am renuntat la a mai indexa bloguri pe WSIDb.COM si voi lansa un site separat cu acelasi crawl dar care sa se axeze doar pe bloguri, denumire WBIDb.COM ( Web Blog Information Database ) .

Cele 2 site-uri vor comunica intre ele in sensul ca daca WSIDb gaseste url-ul unui blog pe blogspot sau wordpress sau alte site-uri care ofera acest serviciu, il va "pasa" lui WBIDb, si daca WBIDb gaseste link-uri catre alte site-uri care nu sunt pe blogspot sau wordpress si WSIDb-ul nu le are in baza de date, le va pasa lui WSIDb. Nu stiu daca WBIDb-ul va fi lansat odata cu WSIDb-ul dar chiar daca nu va fi lansat in acelasi timp el va veni la o perioada scurta dupa.

--- Later Edit --- (ca mi-a fost lene sa apas "Edit")

In cazul in care va plictisesc cu detalii sa imi spuneti sa nu mai postez

Dupa multa optimizare si reorganizare functii si taskuri in interiorul robotelului de crawl am ajuns de la o medie de 24 de secunde pe domeniu ( minim 12 secunde maxim a durat si 1 minut si ceva la un domeniu ) la o medie de 3 secunde pe domeniu. ( minim cam 1 secunda si un pic, maxim cam 10 secunde )

O medie de 3 secunde pe domeniu crawluit inseamna:

30 000 domenii crawluite 1 zi
210 000 7 zile
6 300 000 30 zile

Pentru moment ma voi axa doar pe crawling domenii noi, cel putin 3 luni, dupa care o sa ii dau drumu si la revisit-uri

Am implementat si pagina de delete domenii care functioneaza impecabil si permite bulk delete a maxim 20 de domenii odata.
Odata cu stergerea domeniului se sterg si toate subdomeniile acestuia iar crawlingul nu se va mai face pe acel domeniu.

mai am 4 days 23 hrs 48 min 11 sec until launch ... pana atunci se va mai lucra la optimizare and stuff ....

ca si idee in acest proiect s-au "investit" aproximativ 800 de ore de lucru pana in acest moment