okey ... Web Site Information Database - WSIDb.COM e online

treaba sta in felul urmator ... am incercat sa rulez cu 5 robotzei odata cand baza de date avea ~ 100.000 domenii crawluite si alte 500.000 in asteptare si se cam agata
nu din cauza traficul ci din cauza bazei de date ... prin urmare acuma sunt la redesign al bazei de date si rulez momentan cu un singur robotzel ...

Statisticile din acest moment:

87709 ips in database
164511 domains in database
821173 domains to crawl
7596 adsense ids in database
35905 analytics ids in database

Astept pareri/sugestii