A fost folosit un CMS notoriu sau este ceva custom made?
Se stie ca unele CMS-uri au probleme de genul asta si poate gasim ceva fara sa folosesti robots.txt sau sa alteram internal linking.