Vreau sa blochez din robots.txt mai multe pagini inexistente

[Veromon]

Pentru cei cu mai multa experienta, cer un sfat. Vreau sa scap de multe pagini care au facut parte dintr-un site al meu, dar inca apar in webmaster ca si erori 404. Terminatia lor este cu /listings.html sub forma www. site .ro/categorie /subcategorie /1/ listings.html, platforma noua care o folosesc de aprox. 6 luni, nu mai foloseste aceasta terminatie, si va intreb, daca adaug in robots.txt, Disallow: /listings.html as putea sa scap de problema? Am incercat sa le las sa dispara singure, am eliminat categoriile din webmasters/tools/url-removal dar sunt cu miile, site-ul vechi a avut ceva probleme cu filtrele si a indexat peste 350 000 pagini ...acum incec sa remediez problema.

[cezarcbe]

Daca acum apar ca erori 404, iar tu ai setat pe noul site o pagina pentru url-urile cu genul acesta de problema, vor disparea singure, in timp.

Asigura-te ca ai o pagina cu eroarea 404 pe site si ca toate url-urile care nu exista duc catre ea.

Si ultima solutie, pune asta in robots.txt :

User-agent: Googlebot
Disallow: /*/1/*

Am presupus ca si chestia cu "/1/" face parte din vechea ta platforma dar e absenta in cea noua. Sper ca ti-am putut fi de ajutor!

[Gratian Alinei]

Redirect 410 ^(.*)listings.html$
ErrorDocument 410 /410-error-page.html

O dată ce a fost accesată de gogglebot, cu status code 200, îți vor apărea în WMT ori de câte ori trece pe acolo. Am pagini dispărute de peste 2 ani (410) pe care încă le mai încearcă.

[Sorin Frumuseanu]

Mai bine vorbesti cu un programator sa-ti faca un redirect permanent, dupa anume reguli prin care au fost generate acele pagini. Din moment ce linkurile vechi nu mai sunt generate, in timp dispar singure si parca mai bine pastrezi traficul, atat cat e.

[Veromon]

Va multumesc tuturor pentru raspunsuri. Raspunsul lui cezarcbe il cautam, vreau sa scap de link-urile respective tocmai pentru ca nu aduc trafic, sunt link-uri care au valoare 0 in momentul acesta. Ce a fost mai important (categorii, subcategorii) am refirectionat din htacces si acum vreau sa scap de erorile 404, pentru ca asa cum spune Gratian Alinei, erori de genul asta apar/reapar si peste 2-3 ani daca nu faci ceva cu ele. 1nesco, ai dreptate, o sa cumpar un audit in scurt timp, mai am putin de lucru la unele module.