# robots.txt for 
# Zugriff auf alle Dateien erlauben

User-agent: *

Disallow: /cgi-bin/


User-Agent: msnbot
Crawl-Delay: 20

User-agent: Slurp
Crawl-delay: 60