Problema crawlare - crestere brusca

Ello guys,

Vin la voi cu o problema careia nu ii pot gasi rezolvare:

Pe 22 sept am descoperit ca am fost hackuiti de catre niste farmacisti din astia cu blue pills care ne-au adaugat un redirect pe linkurile venite din principalele motoare de cautare, deci atunci cand, pe anumite rezultate gen numele pastilei respective, dadeai click pe rezultatul cu site-ul nostru (eram pe locul 2 la cautarea celei mai importante pilule pt barbati, au facut ceva seo baietii la noi in gradina) erai redirectat spre siteul farmacistilor.

Gasit, scos redirectul, rezolvat problema.

Doar ca, la doar cateva zile distanta, am picat(de pe pozitii fruntase) aproximativ 10 pozitii pe cuvintele cheie principale (3 la numar), cuvinte care insumau 30 de milioane de cautari lunare in total.

Am pierdut cam 30% din trafic si de atunci indiferent ce facem, linkuri, schimbari de content, acatiste, orice, site-ul nu creste. Nici nu mai are aceleasi reactii la linkuri puternice, nu simte nimic, nici daca i-as pune link din insusi google.ro nu cred ca ar simti ceva.

Acum ceea ce credem noi ca a cauzat toate acestea este faptul ca paginile crawlate si kb-tii downloadati de catre crawler de pe siteul nostru au crescut, de la finalul lui septembrie, inimaginabil de mult, s-au inzecit.. poate mai mult, de la 15-17.000 la 150 - 160.000 pagini crawlate la fiecare vizita si nu pare sa se opreasca din crestere.

Cand am descoperit asta, aveam 567.000 de pagini indexate de google, am scos, prin robots txt, 400.000 din ele, ramanand cu ~150.000, mare ne-a fost mirarea cand NU A SCAZUT DELOC numarul de pagini crawlate si kb-tii downloadati de crawler. Desi avem cu 60% mai putine pagini de crawlat, el crawleaza acelasi numar.

Mentionez ca a google a scos din rezultate toate cele 400.000 de pagini pe care le-am interzis din robots, deci nu exista posibilitatea sa nu fi luat in considerare interdictia si sa fi continuat sa crawleze la fel.

Imageshack - cresterecrawlerstats.jpg

In imagine puteti vedea cum, de la finalul lui septembrie si pana acum, creste in continuu. Valorile pe care le vedeti acum la Low, erau defapt valorile noastre Medium sau chiar High.

Ce credeti ca ar putea face crawlerul sa o ia razna in felul asta? Ce credeti ca crawleaza atata? Cum as putea sa scad aceste valori inapoi la cele normale? Ati patit vreunu asa ceva? Nu gasesc nimic pe net despre asta.

Multumesc anticipat pentru ca cititi romanul si puneti neuronii la contributie pentru mine :D.

Valoarea medie cu care erai obisnuita era determinata cel mai probabil de contentul nou adaugat zilnic. In momentul asta, cel mai probabil, botii reverifica intreg contntul site-ului pentru a vedea daca mai exista probleme, de unde si activitatea crescuta a crawlerilor.

Chestia cu activitatea crescuta in momentul unei penalizari am remarcat-o si eu cu vreo 2 ani in urma, cu un site micut, aici.

Aceste statistici privind accesarea de catre crawler sunt confirmate si de cpanel?
Faptul ca un crawler de la google descarca mai mult de la tine este un semn bun in general. verifica sa vezi daca nu cumva ai ceva cod suspect si in alte pagini. Poti seta si o limitare din robots.txt pentru numarul de pagini accesate de roboti zilnic.
Si mai tine cont ca in perioada respectiva a fost un un update de panda, poate alta este cauza scaderii de trafic.
Si am observat si eu ca reactia la link-uri puternice este mult mai lenta in ultima luna, nu m-am lamurit de ce