Un spider este ca si cum ar fi un browser...

Robotul nu are de unde sa stie daca o pagina este pe server, sau este generata on-the-fly.