este de ajuns ca sa dai la disallow folderul respectiv ...

ai aici ceva mai multa documentatie explicata

http://www.robotstxt.org/orig.html

noroc