-
Probleme cu Robot.txt
Buna seara,
recent pe un site am instalat o noua tema si au fost facute mici retusari privind categoriile, sau adaugat niste pagini, ...in fine.
Problema pe carea o am consta in diferenta intre site.com\robot.txt Cu textul:
si del care apare in webmaster tool:
Si cu tot ceea ce decurge de aci, pagine non indexate si alte nazdravanii.
Mentionez ca ruleaza pe platforma wordpress, am instalat Robots Meta configurat sa nu-mi indexeze doar paginele de login. Pe site in root se afla un site robot.txt pe care e scris Alow:/
Deasemena in privacy e setat sa fie vazut de motoarele de cautare si restul.
Sfaturi pentru a rezolva problema din webmaster tool? . Nu vrea sa-mi ia nici sitemap-urile de pe site.
Multumesc
-
Trebuie sa astepti aprox 24 de ore (daca ai noroc dureaza mai putin) pana google ajunge sa citeasca din nou robots.txt...
-
-
Care este url-ul site-ului? ma gandesc ca ai scris gresit numele fisierului. Vad ca si in titlul threadului si in continut ai pus robot.txt, dar el tre sa fie robots.txt, la plural. oricum, chiar daca ai pus bine, poti testa ducandu-te in GWT la Diagnostics -> Getch as googlebot si pui un url si vezi daca reuseste sau nu sa-l crawlereasca. Daca iti zice "The page could not be crawled because it is blocked by robots.txt.", inseamna ca are disallow in robots.txt
