Continut duplicat - developer "istet"

Salutare,

Am un client care a patit ceva interesant. Developerul care i-a facut site-ul l-a facut pe domeniul lui. A fost "istet" si nu a blocat site-ul sa fie parcurs de crawleri. Acel continut a fost indexat tot de Google.

Intre timp developerul a sters din site tot acel continut, dar este inca indexat in Google. Dupa ce a teminat site-ul a mutat continutul pe site-ul clientului meu. Site-ul clientului a fost indexat dupa ce a indexat varianta construita initial.

Pana acum nu am vazut sa fie probleme din cauza asta, dar care credeti ca ar fi cele mai bune metode de rezolvare?

Sugestiile mele sunt:

1. 301 redirect la toate acele pagini indexate catre paginile clientului.
2. Implementare canonical catre acele pagini.
3. Adaugare noindex, nofollow pe acele pagini.

Ceva de genul am patit si eu cu un site, care fusese indexat pe serverul de development si era continut duplicat cu cel de pe live. Varianta pe care-am incercat-o si a mers ok zic eu:

am schimbat extensia la toate url-urile, sa nu mai fie .html, sa fie .aspx, astfel ca .html-urile dadeau 404
am pus disallow din robots.txt

Dupa cateva saptamani deja incepuse sa scada nr de pagini indexate de la vreo 14k la sub 10k, dar abia dupa vreo jumate de an au disparut toate din index.

Nesustinute de linkuri externe, vechile linkuri o sa dispara incet-incet si sigur. Mai intai nu vor avea cache, apoi dispar complet.
Adica nu se justifica munca cu un 301. Maxim la cele pozitionate bine pe expresii targetate si (presupunand prin absurd ca are deja) la cele din sitelinks.

am avut si noi o situatie similara (a fost indexat domeniul dev pt ca a fost uitat un noindex), dar n-au fost probleme ulterioare (fara sa facem nimic special in privinta asta);
daca nu sunt linkuri catre vechiul continut si daca nu exista probleme la momentul de fata.. nu cred ca trebuie sa faci ceva in privinta asta, desi o varianta ar fi sa faci un cont de webmaster pt domeniul initial si sa dai remove domeniului;

este foarte usor de implementat un 301 in htacces

Remove manual din wt (presupun ca e un subdomeniu / folder).

In 24 de ore nu o sa mai existe decat site-ul clientului indexat.

Ma gandesc la alta posibilitate. Google stie cu siguranta cand au fost indexate paginile, deci intr-un fel vede ca site-ul clientului este copiat dupa primul indexat. Acum sunt 404 toate, dupa varianta de development, dar tot raman in index. Acele pagini oricum o sa ramana in index daca nu le scot cumva. Nu am vazut vreodata ca paginile 404 sa iasa din index. Nu ma gandesc neaparat la o posibila penalizare, nu vad un motiv foarte intemeiat pentru asta. Nu trebuie sa ii spui lui Google cumva ca de fapt site-ul bun este al clientului si ca s-a facut o greseala?

Cred ca o sa merg pe noindex, totusi. Nu vreau sa astept foarte mult timp cu acele pagini indexate.

--- Later Edit --- (ca mi-a fost lene sa apas "Edit")

Citat:

---

Postat în original de Nichita

Remove manual din wt (presupun ca e un subdomeniu / folder).

In 24 de ore nu o sa mai existe decat site-ul clientului indexat.

---

In WMT poti sa dau remove doar la cate un URL, chiar daca dau remove la site.tld/dev restul de pagini dev/pagini nu vor ramane indexate?

Citat:

---

Postat în original de danielicb

In WMT poti sa dau remove doar la cate un URL, chiar daca dau remove la site.tld/dev restul de pagini dev/pagini nu vor ramane indexate?

---

Dispar toate paginile din folderul respectiv daca selectezi directory. Eu as zice sa mergi pe varianta asta. Dupa parerea mea este varianta corecta.

Citat:

---

Postat în original de danielicb

In WMT poti sa dau remove doar la cate un URL, chiar daca dau remove la site.tld/dev restul de pagini dev/pagini nu vor ramane indexate?

---

daca elimini radacina se vor elimina si restul paginilor;

later edit: se pare ca nu scriu suficient de rapid :)

Introduci pe site-ul developerului in .htaccess

Cod PHP:

---

//301 Redirect Entire Directory
RedirectMatch 301 [url]www.domeniu.net/demo(.*[/url]) www.domeniunou.net//$1 


---

Cand va mai vizita google pagina va fi redirectionat catre pagina corecta, in acelasi timp scoate developerul paginile din WMT
Este foarte rapid si OK

Va multumesc pentru raspunsuri, cred ca o sa aleg varianta cu WMT. Sa o si testez :).

@Nichita eu alta varianta din WMT decat: Optimization->Remove URL nu stiu. Exista alta? Chiar acum am dat asta la un site intreg. Sunt curios daca va fi scos de tot.

Optimization->Remove URL->Select directory.

Nu vad Select Directory. Este doar Create new removal request, adica doar pentru o pagina. Acolo bag site.ro/folder?

La urmatorul pas ai undeva un dropdown unde poti selecta optiunea folder / directory.

M-am tot uitat pe acolo, dar nu am vazut optiunea de scoatere folder.

Create removal request (aici introduci url-ul folderului) -> Next - alegi din dropdown aceasta optiune (cum se vede in imagine).

Citat:

---

Postat în original de danielicb

M-am tot uitat pe acolo, dar nu am vazut optiunea de scoatere folder.

---

eu nu imi amintesc de o optiune pt folder, dar sigur am eliminat homepageul (in sensul de root) si a disparut tot siteul in mai putin de o zi;
nu stiu daca se aplica similar pentru domeniu/folder/, dar cred ca ar trebui (altfel le-ar fi trecut prin cap sa construiasca o optiune separata)

Citat:

---

Postat în original de Nichita

Create removal request (aici introduci url-ul folderului) -> Next - alegi din dropdown aceasta optiune (cum se vede in imagine).

---

Ce m-am mai chinuit sa o gasesc :)

Merge foarte bine deindexarea unui site intreg din WMT tot cu optiunea asta. Daca aveti nevoie de asa ceva puneti URL-ul principal da deindexare. Testata astazi :) tot astazi primit confirmare in WMT.

Am dezindexat si eu la un site o categorie, in 24 de ore a disparut din google.

Codul asta fece redirect si la paginile interne ?

Citat:

---

Postat în original de lovelife

Introduci pe site-ul developerului in .htaccess

Cod PHP:

---

//301 Redirect Entire Directory
RedirectMatch 301 [url]www.domeniu.net/demo(.*[/url]) www.domeniunou.net//$1 


---

Cand va mai vizita google pagina va fi redirectionat catre pagina corecta, in acelasi timp scoate developerul paginile din WMT
Este foarte rapid si OK

---

LA toata structura site-ului