pai, de ce va ganditi la crawler ce sa caute dupa 1 milion de pagini, cand foarte probabil website-ul tau are in spate o baza de date, si un pattern dupa care genereaza link-uri

Cat stai sa incerci tot felul de tool-uri, iti creezi propriul 'crawler' ce lucreaza direct pe baza de date, si nu vei avea nici un fel de problema