Cea mai buna varianta e sa opresti accesul din robots.txt. Odata terminat site-ul in forma dorita, deblochezi accesul crawlerilor din fisierul robots.txt, generezi sitemap-ul de tip XML si-l trimiti in Webmaster Toools