Erori accesare cu crawlere

[gabau86]

Salut,

Ma poate ajuta cineva cu o rezolvare pentru erorile de mai jos. Nu inteleg de unde pot fi.


Ataşament 3015

Va multumesc.

[JoeBikerul]

Eu zic să renunți la indexarea tag-urilor, apar sub o formă ciudată sau cel puțin așa le vede google. Ai foarte multe și vor crea și conținut duplicat. Marchează-le pe toate ca remediate și așteaptă să vezi ce erori mai apar. Asta după ce oprești indexarea pentru tag-uri.

Poți face redirect 301 pentru toate erorile, dar e ceva de muncă, te pot ajuta dacă vrei să faci redirect 301 să-ți fac rapid legătura cu tag-urile originale. Am nevoie de un extras cu toate erorile atașate aici.

[gabau86]

Cum trebuie sa fac sa renut la indexarea tag-urilor. Daca renunt la indexarea tag-urilor nu ma afecteaza la trafic sau la altceva ????

Extrasul sa fie in format CSv sau Google Docs ???

[JoeBikerul]

Eu zic să lăsăm așa și să încercăm cu redirect 301. Dacă vrei să blochezi tag-urile scri în robots.txt Disallow: /tag/*
Formatul CSV să fie.

[Gratian Alinei]

Lasă-le cu 404! Puțin probabil ca pagina către care redirecționezi (bănuiesc că /) să fie similară paginii redirecționate.

301 Moved Permanently: "The requested resource has been assigned a new permanent URI and any future references to this resource SHOULD use one of the returned URIs. Clients with link editing capabilities ought to automatically re-link references to the Request-URI to one or more of the new references returned by the server, where possible. This response is cacheable unless indicated otherwise." (w3.org)

404 Not Found: "The server has not found anything matching the Request-URI. No indication is given of whether the condition is temporary or permanent. The 410 (Gone) status code SHOULD be used if the server knows, through some internally configurable mechanism, that an old resource is permanently unavailable and has no forwarding address. This status code is commonly used when the server does not wish to reveal exactly why the request has been refused, or when no other response is applicable." (w3.org)

[Sorin Frumuseanu]

Vezi in cache (daca mai au) ce content era pe acele pagini. Daca era, cel mai indicat: redirect 301 spre paginile cu content cat mai apropiat. E ceva de munca dar se justifica efortul.

[zuuup]

Mai mult ca sigur ai avut undeva pe pagina de search results un link de acest tip:<a href="contact@i-gadget.ro">contact@i-gadget.ro</a>. Pentru ca link-ul de la href nu este un link absolut si nu s-a specificat nici-un protocol diferit fata de cel http/https, google(la fel si browserul pe de alta parte) a detectat ca si un link relativ la adresa pe care se afla link-ul.

Astfel daca link-ul de mai sus se afla pe pagina: Ultrabook-uri Review | i-Gadget google a indexat link-ul de mai sus adaugand la sfarsit adresa de email de la href si astfel a iesit:http://i-gadget.ro/tag/ultrabook-uri...ct@i-gadget.ro

Poti evita problema asta prin folosirea protocolului mailto:? Exemplu: <a href="mailto:?contact@i-gadget.ro">contact@i-gadget.ro</a>. Am reprodus bug-ul aici: http://www.peliti.ro/temp/ ; primul link pointeaza incorect spre: http://www.peliti.ro/temp/contact@i-gadget.ro

Cum rezolvi problema linkurilor deja indexate? Adauga randul de mai jos in .htaccess imediat dupa RewriteEngine On, regula prin care faci o redirectare permanenta(302) a linkurilor spre pagina care contine rezultatele pentru tag-ul din url:

RewriteRule ^tag/([a-zA-Z0-9\-]+)/([^\@]+)@(.+)/?$ tag/$1/ [L,R=302]

[Mishu]

La fiecare eroare iti arata unde a gasit link spre ea. Vezi prima data de unde vin, apoi scapa de link.
As lasa asa o vreme, fara sa fac vreun redirect, sa vad daca dispar de la sine.

[Sorin Frumuseanu]

Adica sa rulezi mai intai un xenu Find broken links on your site with Xenu's Link Sleuth (TM) ca sa vezi ce linkuri genereaza site-ul. Ma gandeam ca e rulat deja.