Indexare Google

Salutare!
Am un site care a fost indexat dintr-o regretabila eroare de catre d-l Gogu cu tot cu filtre si s-a ajuns la 1 milion de pagini indexate. Dupa ce-am vazut isprava (in urma unui mesaj de la G Webmaster in care ma batea pe umar ca am prea multe linkuri) am blocat imediat filtrele cu ajutorul robots.txt. Dintr-un milion de pagini ar trebui sa raman la aprox 10.000-12.000 pagini indexate conform sitemap-ului pe care l-am incarcat excluzand evident filtrele.

Asta a fost acum 1 luna. Acum am ajuns acum la aproape 100.000 blocate. Intrebare: cunoasteti alternative pentru accelerarea procesului de blocare? Site-ul are IP unic si sitemap actualizat.

Google e destept. Incearca sa faci cerere de eliminare iar la link pune expresie generica de genul ?category_name=* sau ce filtre ai tu indexate.
La mine a functionat dar m-am trezit inainte de a avea 1 milion de pagini indexate.
In robots txt pe acelasi principiu foloseste Disallow: /?category_name=*.

Citat:

---

Postat în original de Mishu

Google e destept. Incearca sa faci cerere de eliminare iar la link pune expresie generica de genul ?category_name=* sau ce filtre ai tu indexate.
La mine a functionat dar m-am trezit inainte de a avea 1 milion de pagini indexate.
In robots txt pe acelasi principiu foloseste Disallow: /?category_name=*.

---

Si trebuie sa pastrezi acest Disallow: in robots.txt, pe timp nedefinit (Google zice de minim 3 luni, eu l-as lasa macar 1-2 ani din ce am observat). Altfel, dupa 90 zile reapar in index. Dar s-a mai tot postat pe tema asta.

Emm, cer prea mult daca pui linkul cu discutiile anterioare aici? Multumesc.

Am intalnit cazuri de acest gen pe platforme Magento, Prestashop si CS-CART, daca nu ma insel. Banuiesc ca este vorba de un magazin online, ne poti spune ce folosesti?

Nu pot face cunoscut site-ul (clientul doreste confidentialitate) insa pot spune ca este o solutie custom scrisa de la zero respectiv o agentie de turism.

Cred ca solutia ideala ar fi un meta noindex, follow pe respectivele pagini.

Good news, dupa ce am dat ieri o preluare ca Google din Webmaster (dupa index si pagini conectate la aceasta) sau blocat peste 500.000 de pagini. Coincidenta ori era timpul?

Ok astazi am un pic peste 1 milion de url-uri blocate de robot.txt insa la starea indexarii sunt in continuare cca. 600.000 pagini care sunt indexate :| Conform graficului de pe advanced observ ca indexarea linkurilor noi se face putin mai rapid decat eliminarea lor.

Ce metode de crestere a ratei de crawling cunoasteti (cu exceptia celor din google webmaster)?

Citat:

---

Postat în original de Mishu

Cred ca solutia ideala ar fi un meta noindex, follow pe respectivele pagini.

---

Mishu, am pus si meta noindex, follow in paginile generate de filtru, multumesc de sfat. Care este scopul follow? De ce noindex, follow si nu noindex, nofollow?

Ataşament 3193
Dupa cum apare in poza de sus am cca 12.700 de rezultate (asta imi apare de cateva ori pe saptamana pentru cateva ore) apoi revine la aproape 500.000 de mii in cautarea site:xxxxxx.tld Valoarea paginilor indexate din webmaster variaza intre 200.000 si 500.000. Cred ca nu resuesc sa scap de paginile indexate cu filtre, ceva da cu virgula chiar daca am setat noindex, follow, canonical, nofollow pe linkuri de ordonare, etc.

Angajez un maestru in rezolvarea acestui tip de problema pentru a ajunge inapoi la aprox. 8000 de pagini cat are sitemap-ul. Ofertele pe privat, multumesc.