Cea mai buna varianta este a lui Casperel, sitemap-ul dinamic
Pentru un site cu 40,000 pagini folosesc varianta urmatoare si nu am avut nici un fel de probleme:
<?php
header('Content-type: application/xml; charset="utf-8"',true);
echo '<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.google.com/schemas/sitemap/0.84">';

echo '
<url>
<loc>http://www.exemplu.ro/pagina.html</loc>
</url>';

echo '</urlset>';
?>
Cat despre Crawl Settings: la "Set custom crawl rate" am setat "Faster", folosesc un pachet shared hosting si nu am nici un fel de probleme.