Ajutor robots.txt

[clau777]

Salutare,

Am nevoie de putin ajutor va rog. Recent am schimbat host-ul, iar dupa mutare am observat ca nu mai am nici un spider la vizite, nimic.Sunt deja 5 zile de cand 0 spideri, deci nu site-ul nu mai e indexat.
La momentul acesta robots.txt arata asa:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Cum ar trebui sa arate ca sa fiu indexat ? Mentionez ca nu sunt in blacklist la google, verificat cu webmaster tools
Unde gasesc in chroot/ftp fisierul robots.txt sa il editez sau exista vreun plugin pt wordpress care sa faca asta ?
Va multumesc

[enzoloco]

Cea mai simpla varianta de robots txt e asta:
User-Agent: *
Allow: /

Cauta aici pe forum ca sunt si modele mai complexe, in functie de ce vrei sa ascunzi.
Pentru editare, il gasesti in public_html. Daca nu e acolo, atunci creaza tu unul si incarca-l acolo, pe urma mergi in WMT si il trimiti.

[RedJohn]

User-agent: *
Disallow: /wp-admin/
Allow: /

robots.txt (daca nu exista) il pui in root in folderul /public_html/
ai dat si fetch la sitemapul siteului in WMT?

[clau777]

perfect, multumesc mult pt raspunsuri incepe sa imi placa sa ma joc cu setarile astea

[clau777]

perfect, multumesc mult pt raspunsuri incepe sa imi placa sa ma joc cu setarile astea

am facut setarile tot 0 spideri... e ceva ce mai trebuie sa verific ?

[RoMar]

Poti adauga domeniul si in google si bing webmaster tool pentru un index mai rapid

[Mishu]

In Google Webmaster Tools poti incerca sa il preiei ca Google si vei vedea daca este accesibil. Tot acolo iti spune daca ai in sitemap (probabil ca ai unul) link-uri care sunt restrictionate si poti verifica fisierul robots.txt.
Dar tine cont ca nu numai robots.txt poate limita accesul crawlerelor de indexare. Asigura-te si ca in WP la afisare ai debifata optiunea "Descurajeaza motoarele de cautare....".
In cazul in care ai sau ai avut vreo restrictie, dureaza cateva zile pana este eliminata si de Google. Deci nu te poti astepta la rezultate instant.

[clau777]

In Google Webmaster Tools poti incerca sa il preiei ca Google si vei vedea daca este accesibil. Tot acolo iti spune daca ai in sitemap (probabil ca ai unul) link-uri care sunt restrictionate si poti verifica fisierul robots.txt.
Dar tine cont ca nu numai robots.txt poate limita accesul crawlerelor de indexare. Asigura-te si ca in WP la afisare ai debifata optiunea "Descurajeaza motoarele de cautare....".
In cazul in care ai sau ai avut vreo restrictie, dureaza cateva zile pana este eliminata si de Google. Deci nu te poti astepta la rezultate instant.

M-am uitat e debifata optiunea...mai astept dar totusi nu doar google trimite spideri, sunt totusi 5 zile de cand 0 spideri deci ma gandesc ca undeva se blocheaza accesul

[Nichita]

Foloseste optiunea "fetch as googlebot" si trimite cateva pagini ca sa vezi daca le indexeaza.

[clau777]

Foloseste optiunea "fetch as googlebot" si trimite cateva pagini ca sa vezi daca le indexeaza.

am trimis si indexeaza, pe statpress arata 0 spideri in continuare.. am reinstalat si la fel..