Problema robots.txt

[dascalescu]

Un prieten care nu prea are habar dar are si el un site m-a rugat sa-mi arunc un ochi pe site-ul lui , se plangea ca nu prea primeste trafic din google mai deloc.
Ce-am gasit cand l-am verificat:
Cand i-am dat in google site:domeniu.com , google imi zice:
"A description for this result is not available because of this site's robots.txt – learn more."
Avea pe server un robots.txt dar uitandu-ma in el n-am gasit nimic ciudat. Totusi l-am sters cu totul de pe server si-am asteptat vreo 4 zile. Nu s-a intamplat nimic...
Apoi dupa 4 zile, i-am generat un sitemap.xml i l-am pus pe server si i-am dat ping la google sa-i fortez indexarea. Si am asteptat inca 5 zile. Din nou, nu s-a intamplat nimic... site-ul e in continuare indexat doar prima pagina si acelasi mesaj apare ..
Daca incerc sa deschid domeniu.com/robots.txt imi da 404 deci nu e fizic acolo.
M-am uitat si in htaccess, din nou nu-i nimic aiurea pe-acolo , el are un cms pe server gen wordpress, erau niste rewrite rules pe-acolo dar nimic care sa conduca la situatia asta ciudata.
Ca sa fie treaba si mai ciudata, desi la site:domeniu.com Google raporteaza doar indexul , totusi la o cautare pe un keyword de-al lui, rankeaza prin pagina 2 cu o pagina din adancimea site-ului ! Pagina de care totusi Google deci stie din moment ce-o listeaza in serps, dar si pe acea pagina la Description in serps tot aceeasi fraza ii pune "A description for this result is not available because of this site's robots.txt"

Aveti vreo idee cum as putea sa rezolv problema ? V-ati mai intalnit cu asa ceva ?

[Floki]

Are vreun plugin de SEO?

[Robert]

Ai verificat sa nu aiba vreun noindex setat in header?

[evolution]

Eu as face asa: intra in WMT si da Crawl > Fetch as Google
- prima data pentru index (lasi gol si apesi Fetch)
- apoi pentru pentru robots.txt (creeaza un fisier gol robots.txt si scrie ceva in el)

Vezi la ambele ce headere apar.

L-as verifica si de malware.

[Mishu]

Vad trei posibilitati:
1. A avut noindex in robots.txt sau in head, dar l-a scos. Ii ia ceva timp lui Google sa isi dea seama ca nu mai e restrictionat si asta ar putea explica si prezenta unei pagini din profunzime.
2. Ce spune Robert mai sus.
Verificarea sursei paginii ar trebui sa lamureasca problema si cred ca este recomandata crearea unui fisier robots.txt.
3. Daca nu este primul proprietar sau daca nu are incredere in cel ce i-a facut site-ul sa il inscrie neaparat in Google Webmaster Tools (Search Console mai nou), elimina astfel posibilitatea de a-l inscrie si manipula altcineva care are acces la domeniu.

[Nichita]

Adauga-i un robots.txt custom, setat corect si da-i Fetch as Googlebot.

[dascalescu]

Multumesc evolution pentru raspuns , acolo era buba. Cloaking la nivel de fisiere php, pentru user_agent GoogleBot /MSNBot este servit un alt robots.txt cu urmatorul continut:

User-agent: * Disallow: /

Deci ... de-acolo i se trage pocinogul.