erori 404

Ziua buna dragi colegi.
Va rog sa ma ajutati cu o serie de sfaturi, din experientele personale, vis a vis de urmatoarea problema.
Se da domeniul site.ro
In urma cu ceva vreme, am avut ceva content pe un folder site.ro/folder/ , content indexat de google.
In prezent acest continut nu mai exista pe site (acel continut a constituit un test) .
De curand mi-au aparut o serie de erori 404 in WMT (evident, de vreme ce nu mai exista nimic la respectivele adrese) .
Am restrictionat prin robots.txt accesul crawlerilor, ceva in genul:

Citat:

---

Disallow: /folder/

---

Din experienta voastra este suficient, sau ar trebui sa folosesc si un redirect din htaccess, prin care sa redirectez paginile moarte catre index?
Merci in avans.

Daca e test si nu te ajuta cu nimic traficul de acolo, le lasi sa expire in liniste si pace, maxim le stergi din wmt.
Ideea e sa vezi cu Xenu daca mai sunt generate si/sau cine le-a generat ca sa nu apara iar.

Am avut si eu o problema de genul asta si totul s-a facut numai din htacces (daca-mi aduc bine aminte) si erorile au disparut incet incet.

Danke guys.
Sa vedem ce se intampla in continuare, dupa ce am pus disalow pe folderele cu pricina. Parca nu as adauga redirect si in htaccess.
@1nesco, da, au fost doar de test, nimic altceva, doar ca nu am realizat decat prea tarziu ca le-a indexat gogu.

Citat:

---

Postat în original de 1nesco

Daca e test si nu te ajuta cu nimic traficul de acolo, le lasi sa expire in liniste si pace, maxim le stergi din wmt.
Ideea e sa vezi cu Xenu daca mai sunt generate si/sau cine le-a generat ca sa nu apara iar.

---

Si eu am o problema asemanatoare.In cat timp dispar din google ? Dispar din google daca sunt deja indexate?

Salut,

Disallow din robots.txt nu o sa iti scoata pagile din index. cel mai bine e sa pui noindex,follow in meta robots, ca sa nu pierzi nici link juice. e posibil ca acele pagini sa aibe si ceva linkuri naturale.

Am avut si eu aceeasi problema acum cateva zile cu un site din semnatura, am rezolvat din .htaccess iar eroarea nu mai apare in wmt.

Daca linkurile persista, poti incerca un custom page cu http status "410 Gone" (cu un link catre index sa capturezi din vizitatori reali daca doresti).

Experienta mea recenta arata o deindexare mai rapida folosind 410, decat 404 (ideea am preluat-o de pe forumurile US). Nu stiu daca altcineva a mai incercat si poate confirma asta.

Probabil pe ideea ca la 404, Google mai asteapta o vreme "sa revina" pagina.

Later edit: La 301 Redirect catre home page, ai sanse ca paginile moarte sa persiste timp indelungat in WMT si in Google.

Second edit: Alta metoda este stergerea manuala. Aplici 404 si/sau blochezi paginile din robots.txt, dupa care folosesti Remove URL din WMT, iar stergerea este rapida. Atentie insa, paginile sterse astfel, reapar dupa aproximativ 3 luni, prin urmare trebuie sa te asiguri ca 404/ blocarea din robots.txt exista acolo pe termen lung.

Nota: Nu am reusit sa gasesc informatii, daca aceasta metoda afecteaza in vreun fel ranking-ul.

Am eliminat erorile din gwt si am blocat paginile in robots. Vad ca deja au inceput sa dispara din index. Probabil dureaza ceva pana dispar de tot.

Ai putea sa incerci pe langa robots.txt si noindex sa dai request removal din webmaster tools si apoi sa selectezi "remove folder".
La mine asa a mers pentru alt site.

Citat:

---

Postat în original de imaginelife99

Ai putea sa incerci pe langa robots.txt si noindex sa dai request removal din webmaster tools si apoi sa selectezi "remove folder".
La mine asa a mers pentru alt site.

---

Functia Remove URLs din WMT trebuie folosita cu grija. Este facuta pentru a fi utilizata numai cand este absolut necesar (exemplu: content ilegal plasat pe site). Nicidecum pentru cleanup.

A se citi asta: When NOT to use the URL removal tool - Webmaster Tools Help , inainte de a folosi Remove URL's. Acest tip de stergere este diferit de cel natural.