Cum realizez o deindexare masiva de pagini?

1. Am un forum instalat ca folder al unui domeniu: www.example.com/forum/
Doresc ca acesta sa fie dezindexat complet (sa fie eliminate paginile) si apoi el sa fie reindexat (progresiv, de la zero) de catre Google (Paginile sa fie reindexate in forma actuala, forma veche continea si niste linkuri catre niste fosti parteneri. Desi le-am scos de peste jumatate de an, ele tot se mentin pe zeci de mii de pagini si ... nu prea imi convine).
Sa zicem ca nu ma deranjeaza prea mult caderea de trafic venit din Google datorita acestui proces si nici durata lui. Mai important pentru mine e ca in baza de date a lui Google sa se faca "curat" in ceea ce priveste continutul forumului meu.

2. Am observat ca au aparut si persista in contul GoogleWebmastersTools ale unor siteuri (carora le scosesem de mult timp linkul) IBL-uri de forma www.example.com/forum//viewtopic.php?t=100 in loc de www.example.com/forum/viewtopic.php?t=100 (// in loc de o singura data /) venite din forumul meu. Ele sunt active si au continut identic cu forma corecta. In mod similar .../forum//search.php.. , .../forum//profile.php?...
Acestea doresc sa fie eliminate complet.

Singura solutie reala, este ca acele pagini care vrei sa le scoti, sa dea cod de eroare 404. Apoi sa le treci pe toate in robots.txt. Ultimul pas fiind sa faci o cerere de excluziune in Webmaster Tools.

Poti elimina un intreg folder in Webmaster Tools. Posturile nu trebuie sa dea eroare 404, ca sa le poti elimina.

Primul pas e blocarea cu robots.txt

In cazul tau vei avea: Disallow: /forum/

Dupa ce faci asta trebuie sa te duci in WT la Crawl access si sa ii dai remove folderului. Ai acolo si posibilitatea asta. Remove an entire directory - e un meniu dropdown - trebuie sa bifezi "the content has been blocked by robots.txt". In 24 de ore maxim, tot folderul este scos din index. ;)

Citat:

---

Postat în original de Nichita

Primul pas e blocarea cu robots.txt

Dupa ce faci asta trebuie sa te duci in WT la Crawl access si sa ii dai remove folderului. Ai acolo si posibilitatea asta. Remove an entire directory - e un meniu dropdown - trebuie sa bifezi "the content has been blocked by robots.txt". In 24 de ore maxim, tot folderul este scos din index. ;)

---

Am modificat (inserat, de fapt) robots.txt
Nu am insa meniul respectiv in GWT la Crawl Access.
Tb sa astept sa imi citeasca robots.txt ptr a aparea acea optiune?

1. Deci va disparea din SERPS.
2. Va disparea si din google cache?
3. Vor disparea IBL-urile din conturile GWT ale celorlalti pe care le primeau de la mine?

Ca sa elimini folderul te duci si ii introduci in campul respectiv: hxxp://www.numelesite.ro/forum/. La pasul urmator ai un dropdown - remove an entire directory. Il alegi pe ala si bifezi faptul ca e blocat de robots.

1. Va disparea din SERPs.
2. Da
3. Da, din moment ce google nu mai are acces la linkurile blocate.

Acum pasul urmator: reindexarea din nou a forumului. Se va lua de la zero? Sau totul s-a pastrat si daca urmam ce zic ei aici (How can I ensure my content is eligible for removal from the Google index? - Webmaster Tools Help sau Reincluding content - Webmaster Tools Help ) e posibil sa fie reluate niste forme vechi?

Acum sunt zeci de mii de linkuri moarte (alea cu ...forum// in loc de ...forum/) si mii care nu au mai fost parsate de peste jumatate de an. O reincludere si nu o reluare de la zero nu mi-a rezolvat problema, ci doar mi-a dat o pauza in ea.

Eu cred ca ar trebui sa faci url-urile friendly si apoi sa le pui rel="canonical". Asta ar trebui sa rezolve problema. :)

@Marius Cristian, eu am vrut sa fac o data miscarea asta. Am dezindexat complet un site, sperand ca apoi Google o ia de la capat cu indexarea lui. Am asteptat sa-l scoata din index (si eu aveam niste pagini care doream sa nu mai fie indexate la o noua indexare). Dupa ce a fost indexat, am rescris regulile in robots.txt ca sa blochez o reindexare a noilor pagini si am dat sa-l reincluda.

Ei bine, cand s-a petrecut minunea totul era la fel ca si inainte... Am impresia ca nu-l scoate efectiv, decat il "dezactiveaza" sa mai apara in cautari la orice comanda. Iar la "re-includere" totul se reface la loc.

Am inteles din ce-am citit atunci, ca fara aceasta "re-includere" din WMT, Google nu se mai atinge de el 90 de zile (chiar daca deblochezi din robots.txt)

Citat:

---

Postat în original de Nichita

1. Va disparea din SERPs.
2. Da
3. Da, din moment ce google nu mai are acces la linkurile blocate.

---

1. ok, in cateva ore
2. ok, in cateva ore
3. in cat timp?