-
The Crawl Initiative
Ma gandeam la cate sute sau mii de site-uri/servere ne crawl-uiesc in permanenta site-urile noastre.
Ma gandeam ca poate reusim sa punem la punct o "initiativa" care sa crawluiasca tot ce e nevoie si pe de alta parte sa oferim acces gratuit la acea baza de date tuturor site-urilor care au nevoie.
Se poate pune foarte usor la punct un script de crawling. Se poate pune la punct si un script de updating pentru site-uri care vor acces astfel incat sa nu preia toata baza de fiecare data ci doar actualizarile.
Singura problema ar fi serverele necesare pentru un astfel de proiect.
Ideea mi-a venit acum 10 minute deci e in "rough format" dar am postat-o aici tocmai ca sa facem un brainstorming ...
Ce parere aveti ?
-