intrebare robots.txt

[giovanni12345]

am un sir de url pe care vreau sa-l blochez cu robots.txt

http://situlmeu.com/vbtube/html1
http://situlmeu.com/vbtube/html2
http://situlmeu.com/vbtube/html3
http://situlmeu.com/vbtube/html4

Au aceeasi radacina http://situlmeu.com/vbtube/
Ce sa fac ca sa le blochez pe toate o data ?

User-agent: *
Disallow: /vbtube/

Sau trebuie pe fiecare in parte ?

User-agent: *
Disallow: http://situlmeu.com/vbtube/html1
Disallow: http://situlmeu.com/vbtube/html2
Disallow: http://situlmeu.com/vbtube/html3
Disallow: http://situlmeu.com/vbtube/html4

Multumesc

[Gabriel Puscuta]

Pai daca pui comanda /folder/ o sa ignore tot ce contine /folder/* .
In cazul in care mai ai si alte pagini, care vrei totusi sa ti le indexeze, le poti ignora doar pe cele care vrei cu /folder/pagina.htm .

Raspunsul la intrebarea ta:

User-agent: *
Disallow: /vbtube/

[voidcode]

este de ajuns ca sa dai la disallow folderul respectiv ...

ai aici ceva mai multa documentatie explicata

http://www.robotstxt.org/orig.html

noroc

[giovanni12345]

Multumesc.
Intrebare rezolvata