un pic de ajutor va rog

Salut tuturor.
Cu riscul de a parea un pic penibil am nevoie de un pic de ajutor.
Am lansat de curand un site, si , din motive de criza am ales ca platforma wordpresul, o platforma pe care abia acum incep sa o descoper. In fine, ideea este urmatoarea: am urmarit zile intregi evolutia siteului si am observat cu stupoare ca siteul nu este deloc bagat in seama de G. Bineinteles, primul lucru la care m-am gandit a fost ca domeniul este banat. Astazi , mi-a trecut prin cap sa incerc /robots.txt si bineinteles "

Citat:

---

"User-agent: *
Disallow:

---

Intrebare acum: m-am uitat in root si nu am pagina robots.txt . in wordpress e cumva generata dinamic de vreun plugin? sau cum mama masii ?
Merci in avans pentru raspunsuri.

--- Later Edit --- (ca mi-a fost lene sa apas "Edit")

Cred ca am rezolvat.
Se pare ca by default wordpress genereaza robots.txt de genul user agent disallow.
Am urcat in root un fisier txt de genul :

Citat:

---

User-agent: *
Disallow: /wp-content/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-
Disallow: /feed/
Disallow: /trackback/
Disallow: /cgi-bin/
Allow: /wp-content/uploads/

User-agent: Googlebot
Disallow: /*.pdf$
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.cgi$
Disallow: /*.xhtml$
Disallow: /*.php*
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /*.txt$
Disallow: /*?*
Disallow: /wp-*
Disallow: */feed/
Disallow: */trackback/
Disallow: /cgi-bin/
Disallow: /go/
Allow: /wp-content/uploads/

---

Sper sa fie ok acum.

Pluginul XML Sitemaps creeaza si un robots.txt virtual.

la instalarea wordpress a fost aleasa optiunea "nu vreau ca blogul meu sa apara in motoare de cautare" si se poate schimba din admin panel cred. Nu numai robotx.txt ti-a fost afectat, ci si meta tagul "robots" cu valorile "no index" no follow.

Citat:

---

"User-agent: *
Disallow:

---

Daca asta aveai standard la instalare, totul este ok. Daca nu este si un "/" la Disallow, este ca si cum nu ar fi deloc.

Se pare ca este ok acum.
Merci fain baieti.