Cu ajutorul robots.txt poti bloca accesul spiderilor la anumite directoare sau pagini,ca sa nu fie indexate.