Robots

[PhoeniXman]

Ce intelegeti prin?

User-agent: *
Disallow: /
Sau

User-agent: *
Disallow: /?

The Web Robots Pages

[felix]

The "User-agent: *" means this section applies to all robots. The "Disallow: /" tells the robot that it should not visit any pages on the site.

http://t.co/robots.txt
Are Disallow: /*?
Si totusi link-uri site:www.t.co apar in google, de ce?

[Andrei Luca]

Disallow: /*? blocheaza doar linkurile care contin '?', util la orice site de altfel.

[felix]

Disallow: /*? blocheaza doar linkurile care contin '?', util la orice site de altfel.

Andrei, uite aici http://t.cn/robots.txt
User-agent: *
Disallow: /
Si are link-uri indexate in google site:http://t.cn/ - Google Search

Este normal?

[Andrei Luca]

Normal poate nu dar e un lucru cunoscut ca Google mai face asta.
Why Pages Disallowed in robots.txt Still Appear in Google - SitePoint

[Alex Patruica]

Salut,

Ce trebuie sa contina fisierul robots.txt ca sa fie corect, vreau sa imi indexeze toate paginile site-ului meu.
Este corect asa ?

# robots.txt file for domeniulmeu.ro

User-agent: *

Sitemap: domeniulmeu.ro/sitemap.xml

[Raoul]

Da, e corect.

[Alex Patruica]

Multam fain

[Nickalls]

este crect poate pe blogspot dar la un site in wordpress iti trebuie ca anumite fisiere sa nu fie indexate

[Alex Patruica]

Site-ul este pagina de prezentare, si este creatie proprie. Nu este pe platforme, blogspot sau wordpress.