Indexare Google

[bass]

Salutare!
Am un site care a fost indexat dintr-o regretabila eroare de catre d-l Gogu cu tot cu filtre si s-a ajuns la 1 milion de pagini indexate. Dupa ce-am vazut isprava (in urma unui mesaj de la G Webmaster in care ma batea pe umar ca am prea multe linkuri) am blocat imediat filtrele cu ajutorul robots.txt. Dintr-un milion de pagini ar trebui sa raman la aprox 10.000-12.000 pagini indexate conform sitemap-ului pe care l-am incarcat excluzand evident filtrele.

Asta a fost acum 1 luna. Acum am ajuns acum la aproape 100.000 blocate. Intrebare: cunoasteti alternative pentru accelerarea procesului de blocare? Site-ul are IP unic si sitemap actualizat.

[Mishu]

Google e destept. Incearca sa faci cerere de eliminare iar la link pune expresie generica de genul ?category_name=* sau ce filtre ai tu indexate.
La mine a functionat dar m-am trezit inainte de a avea 1 milion de pagini indexate.
In robots txt pe acelasi principiu foloseste Disallow: /?category_name=*.

[emm]

Google e destept. Incearca sa faci cerere de eliminare iar la link pune expresie generica de genul ?category_name=* sau ce filtre ai tu indexate.
La mine a functionat dar m-am trezit inainte de a avea 1 milion de pagini indexate.
In robots txt pe acelasi principiu foloseste Disallow: /?category_name=*.

Si trebuie sa pastrezi acest Disallow: in robots.txt, pe timp nedefinit (Google zice de minim 3 luni, eu l-as lasa macar 1-2 ani din ce am observat). Altfel, dupa 90 zile reapar in index. Dar s-a mai tot postat pe tema asta.

[bass]

Emm, cer prea mult daca pui linkul cu discutiile anterioare aici? Multumesc.

[vertedi]

Am intalnit cazuri de acest gen pe platforme Magento, Prestashop si CS-CART, daca nu ma insel. Banuiesc ca este vorba de un magazin online, ne poti spune ce folosesti?

[bass]

Nu pot face cunoscut site-ul (clientul doreste confidentialitate) insa pot spune ca este o solutie custom scrisa de la zero respectiv o agentie de turism.

[Mishu]

Cred ca solutia ideala ar fi un meta noindex, follow pe respectivele pagini.

[bass]

Good news, dupa ce am dat ieri o preluare ca Google din Webmaster (dupa index si pagini conectate la aceasta) sau blocat peste 500.000 de pagini. Coincidenta ori era timpul?

[bass]

Ok astazi am un pic peste 1 milion de url-uri blocate de robot.txt insa la starea indexarii sunt in continuare cca. 600.000 pagini care sunt indexate Conform graficului de pe advanced observ ca indexarea linkurilor noi se face putin mai rapid decat eliminarea lor.

[bass]

Ce metode de crestere a ratei de crawling cunoasteti (cu exceptia celor din google webmaster)?