Despre Robots.txt

[shurub]

am pus un mesaj despre un programel,
nu a ajuns s-au l-a sters cineva?

[Krumel]

E un mesaj vechi? E un mesaj nou?
Nu cred ca s-a sters ceva.

[shurub]

azi l-am scrsi, oricum, am dat search dupa si am descoperit ca se mai discutase despre asta

era vorba de programelul softplus gsite crawler

i-am dat drumul de aseara si nici acum nu aterminat de facut harta , oare ce dureaza asa mult?

[Ioan Margineanu]

Despre ce site vorbesti? Nu de alta dar gsc merge foarte bine.

[shurub]

Despre ce site vorbesti? Nu de alta dar gsc merge foarte bine.

fac harta siteului meu, www.crap.ro,
i-am dat aseara sa o faca si tot mai lucreza si acum la ea

[Ioan Margineanu]

Ai bagat cumva si forumul in sitemap? Nu de alta dar:

Utilizatorii nostri au scris un numar de 26697 articole
Avem 1124 utilizatori inregistrati

si s-ar putea sa dureze ceva timp

[shurub]

da, am bagat si forumul,
nu trebuia?

[Ioan Margineanu]

Nu am zis ca nu trebuie ci doar ca din cauza lui va dura mai mult. Chiar ai o multime de linkuri din forum catre prima pagina.

Si inca ceva: am vazut ca ai robots.txt dar e gol. Pune si tu in el

User-agent: *
Disallow:

[shurub]

aha, pun acum, multumesc.

[FireEyes]

Cum arata un robots.txt care sa permita "tot" ?