http://www.bjoernsworld.de/suchmaschinen/robots-txt.html#aufbau
http://www.knothemedia.de/crawler-spider-robots-bots-sperren.html
https://ahrefs.com/robot
http://www.forum-hilfe.de/threads/55458-Was-sind-AhrefsBot-Suchmaschinen
um doppelten Content bei den Suchmaschinen zu vermeiden, muss man nur die Hauptdomain als host eintragen und zwar unabhängig von