Un prieten care nu prea are habar dar are si el un site m-a rugat sa-mi arunc un ochi pe site-ul lui , se plangea ca nu prea primeste trafic din google mai deloc.
Ce-am gasit cand l-am verificat:
Cand i-am dat in google site:domeniu.com , google imi zice:
"A description for this result is not available because of this site's robots.txt – learn more."
Avea pe server un robots.txt dar uitandu-ma in el n-am gasit nimic ciudat. Totusi l-am sters cu totul de pe server si-am asteptat vreo 4 zile. Nu s-a intamplat nimic...
Apoi dupa 4 zile, i-am generat un sitemap.xml i l-am pus pe server si i-am dat ping la google sa-i fortez indexarea. Si am asteptat inca 5 zile. Din nou, nu s-a intamplat nimic... site-ul e in continuare indexat doar prima pagina si acelasi mesaj apare ..
Daca incerc sa deschid domeniu.com/robots.txt imi da 404 deci nu e fizic acolo.
M-am uitat si in htaccess, din nou nu-i nimic aiurea pe-acolo , el are un cms pe server gen wordpress, erau niste rewrite rules pe-acolo dar nimic care sa conduca la situatia asta ciudata.
Ca sa fie treaba si mai ciudata, desi la site:domeniu.com Google raporteaza doar indexul , totusi la o cautare pe un keyword de-al lui, rankeaza prin pagina 2 cu o pagina din adancimea site-ului ! Pagina de care totusi Google deci stie din moment ce-o listeaza in serps, dar si pe acea pagina la Description in serps tot aceeasi fraza ii pune "A description for this result is not available because of this site's robots.txt"
Aveti vreo idee cum as putea sa rezolv problema ? V-ati mai intalnit cu asa ceva ?