Slurp vine si pleaca asa cum a venit

Versiune printabilă

19th April 2005, 19:20
bond

Slurp vine si pleaca asa cum a venit

Salut,
Ar putea cineva sa-mi spuna de ce o freaca Slurp in radacina de zile in sir si nu incepe sa scaneze tot site-ul?
Exemplu de azi: http://blackbeauty.ro/stats/report_visits....=2005-04-19&bot a venit de 3 ori si a vizitat numai radacina.

Mersi,
19th April 2005, 21:41
Cristian Mezei

http://blackbeauty.ro/robots.txt

Cumva de-asta ? :D
20th April 2005, 10:59
bond

Citat:

Originally posted by Expertu
[b]http://blackbeauty.ro/robots.txt

Cumva de-asta ? :D

I don't get it.
Google si MSN nu s-au incurcat de robots.txt.
20th April 2005, 11:50
rev

Citat:

Postat în original de bond

Citat:

Postat în original de Expertu

http://blackbeauty.ro/robots.txt

Cumva de-asta ? :D

I don't get it.
Google si MSN nu s-au incurcat de robots.txt.

Probabil fiindca spre deosebire de ceilalti roboti Slurp are impresia ca

Cod:

Disallow:

este echivalent cu

Cod:

Disallow: /

Iti recomand sa stergi acel robots.txt sau sa bagi continut relevant in el.
20th April 2005, 14:56
Cristian Mezei

Exact ...

Nu stiu cum interpreteaza Slurp acel robots.

Mai bine sterge-l.
20th April 2005, 15:14
Razvan Pop

Slurp?

Slurp cam ignora robots.txt, cel putin asa am observat eu. Mai sunt pe aici persoane care au observat asta. :)
20th April 2005, 17:46
bond

E ciudat ce ziceti voi.
Chiar pe pagina lor de help http://help.yahoo.com/help/us/ysearch/slur...p/slurp-02.html se face referire la
http://www.robotstxt.org/wc/norobots.html unde zice asa:

Citat:

Disallow
...
Any empty value, indicates that all URLs can be retrieved. At least one Disallow field needs to be present in a record.

Imi e greu sa cred ca fac referire la niste reguli pe care apoi le incalca.

Ar mai fi o varianta mentionata la http://www.robotstxt.org/wc/exclusion-admin.html de a crea robots.txt gol. De asta ce ziceti?
20th April 2005, 17:57
rev

Citat:

Originally posted by bond
[b]Ar mai fi o varianta mentionata la http://www.robotstxt.org/wc/exclusion-admin.html de a crea robots.txt gol. De asta ce ziceti?

Poti face asa. Sau daca nu vrei fisier gol, poti defini intr-un disallow sa zicem directorul in care tii grafica site-ului. Oricum nu prea au ce cauta crawlerele pe acolo.
31st May 2005, 15:57
bond

In sfirsit s-a starnit si Slurp dar nu e prea vioi.
Nu stiu ce sa zic de eliminarea lui robots.txt. A influentat sau nu?!
31st May 2005, 18:14
Bruzli

Eu folosesc pe majoritatea site-urilor
Disallow: in robots.txt si nu am nici un fel de probleme.
23rd April 2007, 00:49
Cristi_XP

am avut ceva probleme cu hostingul ,dupa o sapt cand am mutat siteul pe alt host nu mai imi intra botii de yahoo...ce sa fac sa-i aduc inapoi?:)
25th April 2007, 16:25
adolix

cine e mah slurp asta ? :)) :twisted:
25th April 2007, 22:26
Cristi_XP

unu smecher...Yahoo slurp Spider ,un paianjen
3rd May 2007, 16:13
meetzah

Citat:

Postat în original de Cristi_XP

am avut ceva probleme cu hostingul ,dupa o sapt cand am mutat siteul pe alt host nu mai imi intra botii de yahoo...ce sa fac sa-i aduc inapoi?:)

eu nu stiu cum sa mai scap de ei... k am cel putin 20-30 de ip-uri de inktomi pe site in fiecare moment. pana la urma ma enervez si interzic de tot din robots.txt orice bot de la yahoo. oricum nu primesc mare tarfic de la ei :(
3rd May 2007, 18:36
Cristi_XP

mie nu imi indexeaza...din 3000 pg au ramas doar vreo 100
4th May 2007, 08:14
Iulian00

Eu la Yahoo Search pana acum 3 sapt aveam indexate 2 pagini cu site-ul de felicitari , in schimb Yahoo Back Linkuri aveam peste 1500, iar la Google aveam deja 16.000-17.000 de pagini indexate. M-am reinscris la Yahoo Search si vad ca a mai crescut numarul paginilor indexate la 43 , dar a scazut numarul Back Linkurilor la 800 si ceva.