https://ahrefs.com/robot/
Rogerbot Crawler - Help Hub | SEOmoz
Majestic-12 : DSearch : MJ12bot
Webmaster info | blekko

Ptr cele mai importante tooluri de crawling ai aici robotii lor.

tymbark, cu ce propui tu reusesti sa lasi doar Google sa indexeze site-ul. Dar poate e ok sa lasi si alte motoare sa ti-l indexeze, chiar daca au trafic mai mic.