Se specifica clar pe site-ul Google ca daca nu vrei sa excluzi URL-uri nu ai nevoie de robots.txt. Deci pur si simplu sterge-l. Si protejeaza cu parola folderele care nu vrei sa fie indexate.