Ceva de genul am patit si eu cu un site, care fusese indexat pe serverul de development si era continut duplicat cu cel de pe live. Varianta pe care-am incercat-o si a mers ok zic eu:

am schimbat extensia la toate url-urile, sa nu mai fie .html, sa fie .aspx, astfel ca .html-urile dadeau 404
am pus disallow din robots.txt

Dupa cateva saptamani deja incepuse sa scada nr de pagini indexate de la vreo 14k la sub 10k, dar abia dupa vreo jumate de an au disparut toate din index.