Aha.. Am inteles. Ceva asemanator am facut si eu pentru un proiect la facultate, un crawler distribuit care functiona pe acelasi principiu, ii dadeai 10 url-uri "seed" de unde sa inceapa sa crawler-easca, apoi cauta recursiv pe o adancime pe care o stabileam noi (daca-l lasam nelimitat, ar fi crapat) si punea link-urile pe care le gasea intr-o coada si apoi mai multe calculatoare care rulau aplicatia respectiva procesau in threaduri separate. Na, mai avea si niste bug-uri.. dar era decenta cat de cat.

Oricum, asteptam varianta asta sa vedem ce stie sa faca practic