http://www.robotstxt.org/wc/active/html/index.html

Eu din cate stiu Slurp, nu adera la regulile si lista oficiala de roboti.

Am mai auzit spuse, cum ca ar ignora anumite tag-uri standard din robots.txt