User-agent: *
Disallow: si aici linkurile, dar daca sunt 450 de pagini, nu stiu ce sa zici. nu am prea lucrat cu robots.txt