Evitarea Indexarii Unei Pagini Web ?

Am citit un articol referitor la evitarea indexarii unei pagini web ..... pai nu asta e ideea pana la urma, a indexarii ?????

Nu toate paginile trebuiesc indexate, pe unele poti sa ai date "confidentiale", pagini de administrare sau pur si simplu pagini care nu vrei sa primeasca vizitatori de pe motoarele de cautare etc. E dreptul tau sa lasi motoarele de cautare sa indexeze sau nu continutul informatiilor oferite de tine.

Sa-ti dau un exemplu:

http://www.whitehouse. gov/robots.txt

pai poate nu vrei sa ti se indexe pagini de admin

exemplu

am priceput, mersi mult