Despre Robots.txt

[too_night]

Citisem articolul ala, Krumel.

Si, ducandu-ma pe link-ul pus de Cristian, http://forum.seopedia.ro/showthread.php?t=817 ,
am citit ca:
"Daca nu pui nimic care sa blocheze accesul spideri-lor ei vor indexa paginile si vor urma link-urile din ele." :blink:

[Krumel]

Well....Robots.txt-ul, in cazul in care nu il pui, iti va indexa tot ce ai pe site: panoul de admin, fotografii, alte fisiere de pe domeniul respectiv.
Cu Robots.txt poti restrictiona acest lucru.
E deja vanatoare de vrajitoare.
:blink:

[too_night]

Well..., ok!

Si de ce nu spui asa de la inceput ?

Pt. multi nu e cazul sa restrictioneze ceva, ca oricum au mai pustiu pe domeniu (ceva pagini acolo si 3 lulele de gif-uri...).

So..., thanks!

[Krumel]

Intr-adevar tind sa cred ca "mi-am batut gura" degeaba.

Pt. multi nu e cazul sa restrictioneze ceva, ca oricum au mai pustiu pe domeniu (ceva pagini acolo si 3 lulele de gif-uri...).

Concluzie: robots.txt nu e neaparat sa il pui (mai ales ca nu e obligatoriu).
Doar in cazul in care ai nevoie sa nu iti indexeze ceea ce ai pe domeniu: poze, mp3..etc.

Have it your way. :lol:

[Ioan Margineanu]

Evident ca robots.txt nu e obligatoriu dar cat dureaza sa faci un fisier text si sa pui cele 2 linii in el, chiar daca nu vrei sa restrictionezi nimic? Din moment ce e primul lucru pe care il cauta un crawler nu-i frumos sa i-l oferi?

[shurub]

baieti, nu va certati pentru nimic,
asa este, ce te costa sa-l pui?

eu l-am pus si gata, am pus si cele 2 linii sugerate de colegu' si din discutiile voastre inteleg ca oricum, nimic rau nu se poate intampla.



multumesc tuturor
(dar nu ati scapat, mai am intrebari )

[Iskander]

daca am robots.txt mai am nevoie si de meta tag robots in pagina?

[Krumel]

HTML Author's Guide to the Robots META tag.

The Robots META tag is a simple mechanism to indicate to visiting Web Robots if a page should be indexed, or links on the page should be followed.

[Razvan Pop]

Salut Iskander,

Nu ai nevoie de meta-ul robots in pagina daca folosesti robots.txt, decat in cazurile unor pagini care vrei sa faca exceptie de la regulile generale.

[Iskander]

asa ma gandeam si eu.

mai am o intrebare
daca accesez http://www.insoft.ro/robots.txt pot observa structura directoarelor care webmasterul le considera importante

teoretic reprezinta un risc pentru securitatea site-ului oferind informatii suplimentare.

s-ar putea face intr-un fel ca acest fisier sa fie accesat doar de spiderul motoarelor de cautare?