# robots.txt for http://www.berlin-info.de/ # Zugriff auf alle Dateien erlauben User-agent: * Disallow: User-agent: Slurp Crawl-delay: 100 User-Agent: msnbot Crawl-Delay: 100