nu sunt sigur daca ar trebui sau nu sa deschid alt post pentru a continua aceasta discutie pt ca cei interesati sa o gaseasca mai usor.
ok, am rulat VERASYS 2k pe 491 URL-uri cu limita 50 path-uri per URL, deci nu ia tot site-ul ia primele 50 linkuri care ii vin, (vezi logul log_run_limit_50.txt.tar.gz). am atasat logul pentru ca sa se vada ca nu vorbesc din amintiri, si ca www.2k.ro chiar a rulat, si exista in continuare, insa mai am pana perfectez partea de search si ranking.
- alta problema cu un crawler care este cam aiurea, e conexiunea si managementul de timeout. faza e ca atunci cand deschizi o conexiune pe un port poti sa setezi un timeout sa zicem 5 secunde, dar nu tot timpul este respectat si la pagini de dimensiuni mari tinde sa faca stall, sau sa se blocheze.
- am scris cred ca in alt topic ca o metoda sa faci un index cu domeniile .ro existente ar fi sa faci bruteforce. am gasit logurile pe cand am facut eu treaba asta si ultima oara era abia la litera 8 dupa 1 saptamana fara intrerupere de rulare, deci se exclude varianta asta. solutia reala este rulare de query pe serverul whois de la whois.rotld.ro cu optiunea -i (inca mai studiez aici), da RNC nu mai da voie la treaba asta din cauza spamului. o sa ii contactez sa vad ce zic in legatura cu asta.
in legatura cu ceea ce am scris despre .ro, cred totusi ca momentan iti trebuie ft multe resurse sa indexezi tot .ro la timp, si sa rulezi si un motor de cautare care sa iti permita sa returnezi rezultate relevante in timp scurt. cred ca cel mai bine ar fi un motor de cautare tematic, mai mic, restrans la index, care apoi sa se dezvolte
(later edit: am scos atasamentul pt ca se discuta offtopic in acest post)
