
Postat în original de
GTXR
Ce trebuie sa fac in robots.txt ,faza e ca la mine desi paginile nu mai exista cand intru de pe google la o pagina stocata nu imi da eroare 404.Daca puteti arunca un o privire este vorba de site-ul din semnatura,imi apar cand scanez sa vad nr paginilor indexate 14.200 ,iar daca intru pe o pagina care a facut parte in trecut din site si in prezent nu mai este,tot imi intra nu-mi da eroare 404.
Pai inseamna ca paginile sunt inca prezente, nefiind sterse. Ce iti e afisat cand intri pe o asa zisa pagina stearsa ? 
Robots.txt
Cod:
User-agent: *
Allow: /
Disallow: /numele-categoriei-de-sters/