Proiect Domenii, Ip-uri, etc

[puthre]

Ai o tabela cu domeniile care nu mai exista ca sa nu le cauti IP-ul de fiecare data?

[StarNET]

puthre, la inceput faceau parte din tabela de domenii crawluite dar am observat ca nu e rentabil deoarece erau destule ... intre timp am facut ca verificarea ip-ului sa se faca inainte de adaugare in tabela ...

am renuntat la whois momentan deoarece sunt mult prea multe variabile. Am implementat ce am zis mai sus: alexa rank, site-uri linking-in conform alexa si adresa de email a administratorului domeniului daca ea exista pe alexa plus preiau pana la 4 nameservere pentru fiecare domeniu ...

cam totul este gata ... poate tweak-uri minore, am sters tot crawlu si i-am dat drumu din nou sa vad cum se descurca si cam ce diferenta apare in baza de date ca si marime dupa adaugarea informatiilor de mai sus ...

il las peste noapte, pana maine o sa am suficiente domenii crawluite sa pot face o prognoza buna si sa vad daca apar eventuale erori ...

keep you posted have a nice night

--- Later Edit --- (ca mi-a fost lene sa apas "Edit")

Ok ... dupa o noapte de crawling am urmatoarele statistici:

5,327 domenii crawluite: 1.7 MB


10.000 domenii: 3.4 MB
100.000 domeniii 34 MB
1 milion 340 MB
10 milioane 3.4 GB

defapt au fost mai multe domenii crawluite dar o parte din ele ( vreo 15.000 ) le-am sters din statistici deoarece erau defapt subdomenii ale unui domeniu mare si nu am vrut sa le iau in considerare.

Imi plac statisticile. Am inclus si nameserverele si alexa si dupa optimizare am ajuns cam la aceeasi marime daca nu chiar un pic mai putin.

--- Later Edit --- (ca mi-a fost lene sa apas "Edit")

Mici modificari la design plus tld-uri de genul: com.ro au fost acum un pic evidentiate in pagina de tld domenii ...
Am mai facut ceva modificari in crawl, cele mai multe optimizari pentru a mari viteza de crawl.

[StarNET]

okey ... Web Site Information Database - WSIDb.COM e online

treaba sta in felul urmator ... am incercat sa rulez cu 5 robotzei odata cand baza de date avea ~ 100.000 domenii crawluite si alte 500.000 in asteptare si se cam agata
nu din cauza traficul ci din cauza bazei de date ... prin urmare acuma sunt la redesign al bazei de date si rulez momentan cu un singur robotzel ...

Statisticile din acest moment:

87709 ips in database
164511 domains in database
821173 domains to crawl
7596 adsense ids in database
35905 analytics ids in database

Astept pareri/sugestii

[tymbark]

Ceva nu-i bine.. am pus meta-ul ala pe site-uri si totusi apar in indexul tau. sa inteleg ca nu tii cont de el?

[StarNET]

Asa cum am spus mai sus si cum au precizat si alti forumisti ... nu era ok varianta cu meta. Prin urmare am introdus doar pagina de delete: Delete domain(s) from WSIDb.COM index.

Odata ce zice ca domeniile au fost sterse, teoretic ar trebui sa se intample instantaneu, practic am vazut ca in unele cazuri dureaza pana la cateva ore.

[-Rares-]

Observ ca se misca destul de greoi siteul, la mine dureaza intre 5-10 secunde sa deschida o pagina...

[StarNET]

Da ... stiu ... lucrez la optimizare ...

--- Later Edit --- (ca mi-a fost lene sa apas "Edit")

UPDATE: peste un milion de domenii in db .. mai exact 1,034,454 ... din care 175,760 crawluite ... mici optimizari facute ... mai urmeaza altele ...