http://www.bjoernsworld.de/suchmaschinen/robots-txt.html#aufbau

http://www.knothemedia.de/crawler-spider-robots-bots-sperren.html

https://ahrefs.com/robot

 http://www.forum-hilfe.de/threads/55458-Was-sind-AhrefsBot-Suchmaschinen