Postat în original de
Cika-Bum
parerea mea, vis-a-vis de robots.txt :
1. mergi la www[.]google[.]com/webmasters creeaza cont si adauga-ti site-ul (in cazul in care nu ai facut-o inca)
2. din dashboard, selecteaza site-ul cu pricina, apoi mergi la Site configuration -> Crawler Access si fa click pe Generate robots.txt, fa scroll si adauga acolo (Specify additional rules) ce nu vrei sa indexeze motoarele de cautare, apoi faci scroll si click pe Download si urci fisierul pe server, in /root
Eu zic, ca asta este cea mai buna solutie si unde mai pui ca daca vine de la google, nu mai incape indoiala ca ai pus sau nu ai pus Allow sau Disallow corect.
Pentru a verifica daca totul este in regula, fa click pe Test robots.txt si vezi ce zice, ar tebui sa fie "Status 200 (ok)".
cu sitemap-ul pus in robots.txt nu stiu ce sa zic, dar nu iti recomand, eu unu nu folosesc si poti sa iti spun ca de curand am terminat un site de vreo 70 de pagini, care a fost indexat in 2 zile de catre google si yahoo, pana si bing-ul a indexat vreo 5 pagini.
Succes!