Hm.. Daca tot faci un mic crawler, n-ai putea retine informatii si despre backlink-uri (anchor text)? Folosesti pt storage AWS de la amazon si te ajunge f ieftin, in caz ca o sa creasca prea mare baza de date. Ar fi fain daca ar face cineva un crawler doar pt .ro (aici ma refer site-uri in romana, indiferent de tld). Eventual pe la IP-uri sa verifici si ce domenii sunt pe aceeasi clasa C. Asta-i simplu de facut.

Si din ce inteleg eu este pt domenii. Nu merge si pt pagini? Sau doar root domains?