Continut duplicat - developer "istet"

[danielicb]

Salutare,

Am un client care a patit ceva interesant. Developerul care i-a facut site-ul l-a facut pe domeniul lui. A fost "istet" si nu a blocat site-ul sa fie parcurs de crawleri. Acel continut a fost indexat tot de Google.

Intre timp developerul a sters din site tot acel continut, dar este inca indexat in Google. Dupa ce a teminat site-ul a mutat continutul pe site-ul clientului meu. Site-ul clientului a fost indexat dupa ce a indexat varianta construita initial.

Pana acum nu am vazut sa fie probleme din cauza asta, dar care credeti ca ar fi cele mai bune metode de rezolvare?

Sugestiile mele sunt:

1. 301 redirect la toate acele pagini indexate catre paginile clientului.
2. Implementare canonical catre acele pagini.
3. Adaugare noindex, nofollow pe acele pagini.

[tymbark]

Ceva de genul am patit si eu cu un site, care fusese indexat pe serverul de development si era continut duplicat cu cel de pe live. Varianta pe care-am incercat-o si a mers ok zic eu:

am schimbat extensia la toate url-urile, sa nu mai fie .html, sa fie .aspx, astfel ca .html-urile dadeau 404
am pus disallow din robots.txt

Dupa cateva saptamani deja incepuse sa scada nr de pagini indexate de la vreo 14k la sub 10k, dar abia dupa vreo jumate de an au disparut toate din index.

[Sorin Frumuseanu]

Nesustinute de linkuri externe, vechile linkuri o sa dispara incet-incet si sigur. Mai intai nu vor avea cache, apoi dispar complet.
Adica nu se justifica munca cu un 301. Maxim la cele pozitionate bine pe expresii targetate si (presupunand prin absurd ca are deja) la cele din sitelinks.

[Ciprian.Olaru]

am avut si noi o situatie similara (a fost indexat domeniul dev pt ca a fost uitat un noindex), dar n-au fost probleme ulterioare (fara sa facem nimic special in privinta asta);
daca nu sunt linkuri catre vechiul continut si daca nu exista probleme la momentul de fata.. nu cred ca trebuie sa faci ceva in privinta asta, desi o varianta ar fi sa faci un cont de webmaster pt domeniul initial si sa dai remove domeniului;

[lovelife]

este foarte usor de implementat un 301 in htacces

[Nichita]

Remove manual din wt (presupun ca e un subdomeniu / folder).

In 24 de ore nu o sa mai existe decat site-ul clientului indexat.

[danielicb]

Ma gandesc la alta posibilitate. Google stie cu siguranta cand au fost indexate paginile, deci intr-un fel vede ca site-ul clientului este copiat dupa primul indexat. Acum sunt 404 toate, dupa varianta de development, dar tot raman in index. Acele pagini oricum o sa ramana in index daca nu le scot cumva. Nu am vazut vreodata ca paginile 404 sa iasa din index. Nu ma gandesc neaparat la o posibila penalizare, nu vad un motiv foarte intemeiat pentru asta. Nu trebuie sa ii spui lui Google cumva ca de fapt site-ul bun este al clientului si ca s-a facut o greseala?

Cred ca o sa merg pe noindex, totusi. Nu vreau sa astept foarte mult timp cu acele pagini indexate.

--- Later Edit --- (ca mi-a fost lene sa apas "Edit")

Remove manual din wt (presupun ca e un subdomeniu / folder).

In 24 de ore nu o sa mai existe decat site-ul clientului indexat.

In WMT poti sa dau remove doar la cate un URL, chiar daca dau remove la site.tld/dev restul de pagini dev/pagini nu vor ramane indexate?

[Nichita]

In WMT poti sa dau remove doar la cate un URL, chiar daca dau remove la site.tld/dev restul de pagini dev/pagini nu vor ramane indexate?

Dispar toate paginile din folderul respectiv daca selectezi directory. Eu as zice sa mergi pe varianta asta. Dupa parerea mea este varianta corecta.

[Ciprian.Olaru]

In WMT poti sa dau remove doar la cate un URL, chiar daca dau remove la site.tld/dev restul de pagini dev/pagini nu vor ramane indexate?

daca elimini radacina se vor elimina si restul paginilor;

later edit: se pare ca nu scriu suficient de rapid

[lovelife]

Introduci pe site-ul developerului in .htaccess

//301 Redirect Entire Directory
RedirectMatch 301 [url]www.domeniu.net/demo(.*[/url]) www.domeniunou.net//$1 

Cand va mai vizita google pagina va fi redirectionat catre pagina corecta, in acelasi timp scoate developerul paginile din WMT
Este foarte rapid si OK