Fiind un crawler eu iti recomand sa-l inveti sa respecte robots.txt. Eu am facut ceva asemanator si l-am lasat setat pe "nelimitat" si cand a gasit mai multe siteuri pe acelasi host a intrat pe toate si am primit reprosuri de abuz si mi-a fost banat ip-ul serverului in retelele respective. Asa o sa patesti si tu daca nu vei lua in considerare robots.txt

La 4.000.000 de websiteuri, baza de date avea 16 GB, iti spun asta ca sa stii la ce sa te astepti, petru ca nu orice server poate duce o baza de date atat de mare.

Si inca un sfat: fa-ti backup si protejeaza-ti baza de date daca ajungi sa strangi atat de multe informatii, firma de hosting de unde am rulat scripturile mi-a inchis contul pe motiv ca folosesc resursele serverelor excesiv fara sa-mi ofere posibilitatea sa recuperez baza de date iar un angajat al lor a vandut-o unei firme de telecomunicatii. Fa-ti backup pe calculatorul tau, nu pe server, daca nu vrei sa patesti ca mine.