Răspunsul meu ar fi acelaşi cu al lui @cristi, folosind robots.txt.

Însă, am păţit ca Yahoo! să-mi indexeze anumite fişiere "interzise" ( nu toate ).

A doua variantă ( ca să nu umbli în codul sursă ) este folosind fişierul .htaccess şi directiva X-Robots-Tag ( suportată momentan doar de Google şi Yahoo! ).