Robots

Citat:

---

Ce intelegeti prin?

User-agent: *
Disallow: /
Sau

User-agent: *
Disallow: /?

---

The Web Robots Pages

The "User-agent: *" means this section applies to all robots. The "Disallow: /" tells the robot that it should not visit any pages on the site.

http://t.co/robots.txt
Are Disallow: /*?
Si totusi link-uri site:www.t.co apar in google, de ce?

Disallow: /*? blocheaza doar linkurile care contin '?', util la orice site de altfel.

Citat:

---

Postat în original de Andrei Luca

Disallow: /*? blocheaza doar linkurile care contin '?', util la orice site de altfel.

---

Andrei, uite aici http://t.cn/robots.txt
User-agent: *
Disallow: /
Si are link-uri indexate in google site:http://t.cn/ - Google Search

Este normal?

Normal poate nu dar e un lucru cunoscut ca Google mai face asta.
Why Pages Disallowed in robots.txt Still Appear in Google - SitePoint

Salut,

Ce trebuie sa contina fisierul robots.txt ca sa fie corect, vreau sa imi indexeze toate paginile site-ului meu.
Este corect asa ?

# robots.txt file for domeniulmeu.ro

User-agent: *

Sitemap: domeniulmeu.ro/sitemap.xml

Da, e corect.

Multam fain :)

este crect poate pe blogspot dar la un site in wordpress iti trebuie ca anumite fisiere sa nu fie indexate

Site-ul este pagina de prezentare, si este creatie proprie. Nu este pe platforme, blogspot sau wordpress.