Proiect Domenii, Ip-uri, etc

[StarNET]

Urmeaza sa lansez un nou proiect/site.... un mic crawler care "navigheaza" pe internet din pagina in pagina si preia informatii despre fiecare domeniu. Momentan informatiile sunt: domeniu, ip, cont analytics si adsense ( daca exista ), titlu si unde a fost gasit link-ul catre domeniu

se va putea cauta dupa ip, analytics si adsense la inceput

Atasat aveti o imagine ...

Astept pareri/sugestii/etc

wsidb.jpg

[tymbark]

Hm.. Daca tot faci un mic crawler, n-ai putea retine informatii si despre backlink-uri (anchor text)? Folosesti pt storage AWS de la amazon si te ajunge f ieftin, in caz ca o sa creasca prea mare baza de date. Ar fi fain daca ar face cineva un crawler doar pt .ro (aici ma refer site-uri in romana, indiferent de tld). Eventual pe la IP-uri sa verifici si ce domenii sunt pe aceeasi clasa C. Asta-i simplu de facut.

Si din ce inteleg eu este pt domenii. Nu merge si pt pagini? Sau doar root domains?

[StarNET]

Totu se rezuma la puterea de crawl si la puterea serverelor ... ca sa retin backlink-uri e criminal ...

crawler-ul functioneaza pe principiu: eu i-am dat primu site, sa zicem trafic.ro, de acolo gaseste 10 link-uri catre alte site-uri care le adaug in asteptare la crawluit si "retin" in baza de date ca acele 10 site-uri au fost gasite pe trafic.ro ( dupa care si arat in pagina de detalii acest lucru ). Urmeaza sa crawluiasca cele 10 site-uri care au si ele link-uri la randul lor si asa mai departe ....

Pentru subpagini nu este si nici nu va fi ... la fel .. ar fi criminal si nu ar fi util pentru ceea ce incerc eu sa construiesc, adica o baza de date in care poti vedea ce alte site-uri sunt pe acelasi ip, cu acelasi cod de adsense sau cu acelasi cod de analytics ... si alte criterii care vor fi adaugate ulterior... deci pe scurt este doar pentru domenii si subdomenii

[tymbark]

Aha.. Am inteles. Ceva asemanator am facut si eu pentru un proiect la facultate, un crawler distribuit care functiona pe acelasi principiu, ii dadeai 10 url-uri "seed" de unde sa inceapa sa crawler-easca, apoi cauta recursiv pe o adancime pe care o stabileam noi (daca-l lasam nelimitat, ar fi crapat) si punea link-urile pe care le gasea intr-o coada si apoi mai multe calculatoare care rulau aplicatia respectiva procesau in threaduri separate. Na, mai avea si niste bug-uri.. dar era decenta cat de cat.

Oricum, asteptam varianta asta sa vedem ce stie sa faca practic

[StarNET]

Acuma lucrez la crawler sa poata "interpreta" toate codurile HTTP care le intalneste ... redirect-uri, 404 .. etc (chiar daca e standardizata toata chestie tot raspunsurile sunt diferite la redirect-uri si alte magarii ... deci e de munca ) ... mare parte sunt gata ... interfata e si ea in proportie de 70 % gata ... intr-o saptamana doua ar trebui sa fie up & running ...

Nimeni altcineva ? Sugestii .. discutii .. vi se pare util ? etc

[haos]

Fiind un crawler eu iti recomand sa-l inveti sa respecte robots.txt. Eu am facut ceva asemanator si l-am lasat setat pe "nelimitat" si cand a gasit mai multe siteuri pe acelasi host a intrat pe toate si am primit reprosuri de abuz si mi-a fost banat ip-ul serverului in retelele respective. Asa o sa patesti si tu daca nu vei lua in considerare robots.txt

La 4.000.000 de websiteuri, baza de date avea 16 GB, iti spun asta ca sa stii la ce sa te astepti, petru ca nu orice server poate duce o baza de date atat de mare.

Si inca un sfat: fa-ti backup si protejeaza-ti baza de date daca ajungi sa strangi atat de multe informatii, firma de hosting de unde am rulat scripturile mi-a inchis contul pe motiv ca folosesc resursele serverelor excesiv fara sa-mi ofere posibilitatea sa recuperez baza de date iar un angajat al lor a vandut-o unei firme de telecomunicatii. Fa-ti backup pe calculatorul tau, nu pe server, daca nu vrei sa patesti ca mine.

[Nichita]

Stiu ca exista deja ceva similar. Poate iti vin idei studiind modul cum este realizat acesta. SpyOnWeb.com Research Tool — You Can Disclose Websites With The Same Google Adsense Code, Google Analytics Code, Ip Address etc.

[StarNET]

@haos probleme de hosting nu vor fi , robots.txt ar insemna inca o accesare in plus la fiecare crawl ... pe de o parte e ok sa tii cont de robots.txt pe de alta parte 99.999% din site-uri nu vor sti de mine si nu se vor obosi sa ma adauge in robots.txt, prin urmare eu zic ca nu se merita

@Nichita, draguta jucarie, vad ca are alexa de 16000 deci e utilizat destul de mult
in minus am partea de nameservere care urmeaza sa o adaug
in plus am partea de site-uri care apartin aceleeasi clase + design mult peste ce au ei acolo

[tymbark]

@starnet poate ca nu se merita sa citesti permisiunile din robots.txt, insa stiu ca sunt foarte importante si am auzit de un caz in care cineva a dat in judecata google pentru ca a crawlerit si indexat niste pagini pe care el le setade disallow in robots.txt si a castigat procesul. Era chestia ca persoana/firma respectiva pusese niste chestii confidentiale pe net si le-a dat disallow din robots.txt, dar google tocmai crawler-ise site-ul cu putin timp in urma si a cache-uit robots.txt-ul si din cauza asta a durat putin pana la urmatoarea citire a robots.txt si a indexat acele pagini care nu trebuiau.

Acuma na, nu este cazul la tine, dar ziceam si eu asa.

[Cristi U]

@haos probleme de hosting nu vor fi , robots.txt ar insemna inca o accesare in plus la fiecare crawl ... pe de o parte e ok sa tii cont de robots.txt pe de alta parte 99.999% din site-uri nu vor sti de mine si nu se vor obosi sa ma adauge in robots.txt, prin urmare eu zic ca nu se merita

Nu s-o merita, dar ar fi etic sa o faci!