Salut,
Ar putea cineva sa-mi spuna de ce o freaca Slurp in radacina de zile in sir si nu incepe sa scaneze tot site-ul?
Exemplu de azi: http://blackbeauty.ro/stats/report_visits....=2005-04-19&bot a venit de 3 ori si a vizitat numai radacina.
Mersi,
Versiune printabilă
Salut,
Ar putea cineva sa-mi spuna de ce o freaca Slurp in radacina de zile in sir si nu incepe sa scaneze tot site-ul?
Exemplu de azi: http://blackbeauty.ro/stats/report_visits....=2005-04-19&bot a venit de 3 ori si a vizitat numai radacina.
Mersi,
http://blackbeauty.ro/robots.txt
Cumva de-asta ? :D
I don't get it.Citat:
Google si MSN nu s-au incurcat de robots.txt.
Probabil fiindca spre deosebire de ceilalti roboti Slurp are impresia caCitat:
Postat în original de bond
este echivalent cuCod:Disallow:
Iti recomand sa stergi acel robots.txt sau sa bagi continut relevant in el.Cod:Disallow: /
Exact ...
Nu stiu cum interpreteaza Slurp acel robots.
Mai bine sterge-l.
Slurp?
Slurp cam ignora robots.txt, cel putin asa am observat eu. Mai sunt pe aici persoane care au observat asta. :)
E ciudat ce ziceti voi.
Chiar pe pagina lor de help http://help.yahoo.com/help/us/ysearch/slur...p/slurp-02.html se face referire la
http://www.robotstxt.org/wc/norobots.html unde zice asa:
Imi e greu sa cred ca fac referire la niste reguli pe care apoi le incalca.Citat:
Disallow
...
Any empty value, indicates that all URLs can be retrieved. At least one Disallow field needs to be present in a record.
Ar mai fi o varianta mentionata la http://www.robotstxt.org/wc/exclusion-admin.html de a crea robots.txt gol. De asta ce ziceti?
Poti face asa. Sau daca nu vrei fisier gol, poti defini intr-un disallow sa zicem directorul in care tii grafica site-ului. Oricum nu prea au ce cauta crawlerele pe acolo.Citat:
Originally posted by bond
[b]Ar mai fi o varianta mentionata la http://www.robotstxt.org/wc/exclusion-admin.html de a crea robots.txt gol. De asta ce ziceti?
In sfirsit s-a starnit si Slurp dar nu e prea vioi.
Nu stiu ce sa zic de eliminarea lui robots.txt. A influentat sau nu?!
Eu folosesc pe majoritatea site-urilor
Disallow: in robots.txt si nu am nici un fel de probleme.
am avut ceva probleme cu hostingul ,dupa o sapt cand am mutat siteul pe alt host nu mai imi intra botii de yahoo...ce sa fac sa-i aduc inapoi?:)
cine e mah slurp asta ? :)) :twisted:
unu smecher...Yahoo slurp Spider ,un paianjen
mie nu imi indexeaza...din 3000 pg au ramas doar vreo 100
Eu la Yahoo Search pana acum 3 sapt aveam indexate 2 pagini cu site-ul de felicitari , in schimb Yahoo Back Linkuri aveam peste 1500, iar la Google aveam deja 16.000-17.000 de pagini indexate. M-am reinscris la Yahoo Search si vad ca a mai crescut numarul paginilor indexate la 43 , dar a scazut numarul Back Linkurilor la 800 si ceva.