Daca n-ai fi adus in centrul atentiei ceva care nu demonstreaza nimic (asa cum e la momentul asta centro.ro), probabil astia n-ar fi fost asa mistocari in legatura cu numarul serverelor.
Versiune printabilă
Este unul din capitolele la care exceleaza centro. Se fac request-uri cat pentru strictul necesar ca sa detecteze daca ceva s-a schimbat sau nu. Astfel, se iau sute de mii de produse noi pe zi, se actualizeaza alte sute de mii fara ca nimeni sa nu simta nimic. De exemplu, jingle.ro se tot crawluieste de vreo cateva saptamani incoace. Ai simtit ceva?
Cand sa caut si eu ceva pe site-ul tau, hopa, eroare:
Ataşament 3713
Gata, acum n-ar trebui sa mai dea erori... prea multe.
Cand intru pe site imi apare direct Server Error in '/' Application..... varza calita
Esti un norocos. A fost 1 minut de downtime si tu l-ai nimerit :)
E un sistem mai special de crawluire. Cum a zis si cineva mai devreme, daca as crawlui doar magazinele respective la intensitatea cu care o fac, le-as darama in cateva ore. Astfel, impart greutatea crawluind inclusiv shopmania, price, jingle, si chiar Google printre multe altele, facand ca niciun site sa nu simta nimic, insa luandu-se toata informatia de care e nevoie la final de zi.Citat:
Nu inleleg de ce il crawluiesti le Jingle.ro. Nu e mai simplu sa crawluiesti magazinele pe care le are in index? Ce speri sa indexezi de acolo?