Crawler produse

[avram]

Care sunt riscurile legale la care sunt supus , daca trimit un crawler sa parseze continutul unor magazine pentru a popula o baza de date cu produse si preturi . Eu vreau doar sa compar preturile , fara sa am acordul lor

[Netul]

Citeste Termenii si Conditiile, daca scrie cumva acolo ca e interzis sa parsezi continutul.
Daca nu scrie, poti sa iti faci un Crawler propriu, dar care sa poata fi identificat (cum e crawler-ul Google), astfel incat sa poata fi blocat (daca proprietarul doreste). De asemenea trebuie sa respecti conditiile din robots.txt

Ca sa iti setezi un user_agent propriu, pui o linie fie in fisierul php care se ocupa de extragerea datelor, fie in htaccess

In php:
ini_set('user_agent', 'Googlebot/2.1 (+http://www.google.com/bot.html)');


In htaccess:
php_value user_agent Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.9) Gecko/20071025 Firefox/2.0.0.9

(mai sus am dat doar exemple, trebuie sa inlocuiesti cu detaliile crawler-ului tau)