Totu se rezuma la puterea de crawl si la puterea serverelor ... ca sa retin backlink-uri e criminal ...

crawler-ul functioneaza pe principiu: eu i-am dat primu site, sa zicem trafic.ro, de acolo gaseste 10 link-uri catre alte site-uri care le adaug in asteptare la crawluit si "retin" in baza de date ca acele 10 site-uri au fost gasite pe trafic.ro ( dupa care si arat in pagina de detalii acest lucru ). Urmeaza sa crawluiasca cele 10 site-uri care au si ele link-uri la randul lor si asa mai departe ....

Pentru subpagini nu este si nici nu va fi ... la fel .. ar fi criminal si nu ar fi util pentru ceea ce incerc eu sa construiesc, adica o baza de date in care poti vedea ce alte site-uri sunt pe acelasi ip, cu acelasi cod de adsense sau cu acelasi cod de analytics ... si alte criterii care vor fi adaugate ulterior... deci pe scurt este doar pentru domenii si subdomenii