The Crawl Initiative

Ma gandeam la cate sute sau mii de site-uri/servere ne crawl-uiesc in permanenta site-urile noastre.

Ma gandeam ca poate reusim sa punem la punct o "initiativa" care sa crawluiasca tot ce e nevoie si pe de alta parte sa oferim acces gratuit la acea baza de date tuturor site-urilor care au nevoie.

Se poate pune foarte usor la punct un script de crawling. Se poate pune la punct si un script de updating pentru site-uri care vor acces astfel incat sa nu preia toata baza de fiecare data ci doar actualizarile.

Singura problema ar fi serverele necesare pentru un astfel de proiect.

Ideea mi-a venit acum 10 minute deci e in "rough format" dar am postat-o aici tocmai ca sa facem un brainstorming ...

Ce parere aveti ?

| CommonCrawl