Ajutor robots.txt

Salutare,

Am nevoie de putin ajutor va rog. Recent am schimbat host-ul, iar dupa mutare am observat ca nu mai am nici un spider la vizite, nimic.Sunt deja 5 zile de cand 0 spideri, deci nu site-ul nu mai e indexat.
La momentul acesta robots.txt arata asa:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Cum ar trebui sa arate ca sa fiu indexat ? Mentionez ca nu sunt in blacklist la google, verificat cu webmaster tools
Unde gasesc in chroot/ftp fisierul robots.txt sa il editez sau exista vreun plugin pt wordpress care sa faca asta ?
Va multumesc

Cea mai simpla varianta de robots txt e asta:
User-Agent: *
Allow: /

Cauta aici pe forum ca sunt si modele mai complexe, in functie de ce vrei sa ascunzi.
Pentru editare, il gasesti in public_html. Daca nu e acolo, atunci creaza tu unul si incarca-l acolo, pe urma mergi in WMT si il trimiti.

Citat:

---

User-agent: *
Disallow: /wp-admin/
Allow: /

---

robots.txt (daca nu exista) il pui in root in folderul /public_html/
ai dat si fetch la sitemapul siteului in WMT?

perfect, multumesc mult pt raspunsuri :) incepe sa imi placa sa ma joc cu setarile astea :)

Citat:

---

Postat în original de clau777

perfect, multumesc mult pt raspunsuri :) incepe sa imi placa sa ma joc cu setarile astea :)

---

am facut setarile tot 0 spideri... e ceva ce mai trebuie sa verific ?

Poti adauga domeniul si in google si bing webmaster tool pentru un index mai rapid

In Google Webmaster Tools poti incerca sa il preiei ca Google si vei vedea daca este accesibil. Tot acolo iti spune daca ai in sitemap (probabil ca ai unul) link-uri care sunt restrictionate si poti verifica fisierul robots.txt.
Dar tine cont ca nu numai robots.txt poate limita accesul crawlerelor de indexare. Asigura-te si ca in WP la afisare ai debifata optiunea "Descurajeaza motoarele de cautare....".
In cazul in care ai sau ai avut vreo restrictie, dureaza cateva zile pana este eliminata si de Google. Deci nu te poti astepta la rezultate instant.

Citat:

---

Postat în original de Mishu

In Google Webmaster Tools poti incerca sa il preiei ca Google si vei vedea daca este accesibil. Tot acolo iti spune daca ai in sitemap (probabil ca ai unul) link-uri care sunt restrictionate si poti verifica fisierul robots.txt.
Dar tine cont ca nu numai robots.txt poate limita accesul crawlerelor de indexare. Asigura-te si ca in WP la afisare ai debifata optiunea "Descurajeaza motoarele de cautare....".
In cazul in care ai sau ai avut vreo restrictie, dureaza cateva zile pana este eliminata si de Google. Deci nu te poti astepta la rezultate instant.

---

M-am uitat e debifata optiunea...mai astept dar totusi nu doar google trimite spideri, sunt totusi 5 zile de cand 0 spideri deci ma gandesc ca undeva se blocheaza accesul

Foloseste optiunea "fetch as googlebot" si trimite cateva pagini ca sa vezi daca le indexeaza.

Citat:

---

Postat în original de Nichita

Foloseste optiunea "fetch as googlebot" si trimite cateva pagini ca sa vezi daca le indexeaza.

---

am trimis si indexeaza, pe statpress arata 0 spideri in continuare.. am reinstalat si la fel..

up
1 spider de la bing...deci trebuie sa mai astept probabil

Citat:

---

Postat în original de clau777

am trimis si indexeaza, pe statpress arata 0 spideri in continuare.. am reinstalat si la fel..

---

Pai daca iti indexeaza paginile fara sa treaca pe-acolo e chiar mai bine... Sincer, cum crezi tu ca se poate asta?