N-am experimentat, dar cred ca solutia de pe robotstxt.org ar trebui sa mearga:

The Web Robots Pages

To allow a single robot
User-agent: Google
Disallow:

User-agent: *
Disallow: /
Na, nu strica sa incerci. lasi asa o zi, doua si apoi verifici log-urile si vezi daca a scazut traficul facut de boti