Slurp vine si pleaca asa cum a venit

[bond]

Salut,
Ar putea cineva sa-mi spuna de ce o freaca Slurp in radacina de zile in sir si nu incepe sa scaneze tot site-ul?
Exemplu de azi: http://blackbeauty.ro/stats/report_visits....=2005-04-19&bot a venit de 3 ori si a vizitat numai radacina.

Mersi,

[Cristian Mezei]

http://blackbeauty.ro/robots.txt

Cumva de-asta ?

[bond]

Originally posted by Expertu
[b]http://blackbeauty.ro/robots.txt

Cumva de-asta ?

I don't get it.
Google si MSN nu s-au incurcat de robots.txt.

[rev]

http://blackbeauty.ro/robots.txt

Cumva de-asta ?

I don't get it.
Google si MSN nu s-au incurcat de robots.txt.

Probabil fiindca spre deosebire de ceilalti roboti Slurp are impresia ca

Disallow:

este echivalent cu

Disallow: /

Iti recomand sa stergi acel robots.txt sau sa bagi continut relevant in el.

[Cristian Mezei]

Exact ...

Nu stiu cum interpreteaza Slurp acel robots.

Mai bine sterge-l.

[Razvan Pop]

Slurp?

Slurp cam ignora robots.txt, cel putin asa am observat eu. Mai sunt pe aici persoane care au observat asta.

[bond]

E ciudat ce ziceti voi.
Chiar pe pagina lor de help http://help.yahoo.com/help/us/ysearch/slur...p/slurp-02.html se face referire la
http://www.robotstxt.org/wc/norobots.html unde zice asa:

Disallow
...
Any empty value, indicates that all URLs can be retrieved. At least one Disallow field needs to be present in a record.

Imi e greu sa cred ca fac referire la niste reguli pe care apoi le incalca.

Ar mai fi o varianta mentionata la http://www.robotstxt.org/wc/exclusion-admin.html de a crea robots.txt gol. De asta ce ziceti?

[rev]

Originally posted by bond
[b]Ar mai fi o varianta mentionata la http://www.robotstxt.org/wc/exclusion-admin.html de a crea robots.txt gol. De asta ce ziceti?

Poti face asa. Sau daca nu vrei fisier gol, poti defini intr-un disallow sa zicem directorul in care tii grafica site-ului. Oricum nu prea au ce cauta crawlerele pe acolo.

[bond]

In sfirsit s-a starnit si Slurp dar nu e prea vioi.
Nu stiu ce sa zic de eliminarea lui robots.txt. A influentat sau nu?!

[Bruzli]

Eu folosesc pe majoritatea site-urilor
Disallow: in robots.txt si nu am nici un fel de probleme.