# Muß: robots.txt < 1 kB (Gefahr Seitensperre) # ms.de # ausgesperrte Webcrawlwer User-agent: Googlebot-Image # Bildindex Google Disallow: / User-agent: EmailCollector Disallow: / # wegen Googlesyntax User-agent: Googlebot Disallow: /*.jpg$ # Googlesyntax Disallow: /*.gif$ # Googlesyntax Disallow: /*.png$ # Googlesyntax Disallow: /bilder/ Disallow: /BuWahl05/ Disallow: /cgi-bin/ Disallow: /datenschutzpartei/ Disallow: /download/ Disallow: /imp/ Disallow: /js/ Disallow: /logs/ Disallow: /parteivergleich/ Disallow: /subart/ Disallow: /temp/ Disallow: /test/ Disallow: /video/ Disallow: /wahlcomputer/ Disallow: /_grau.html # restliche Webcrawlwer User-agent: * Disallow: /bilder/ Disallow: /BuWahl05/ Disallow: /cgi-bin/ Disallow: /datenschutzpartei/ Disallow: /download/ Disallow: /imp/ Disallow: /js/ Disallow: /logs/ Disallow: /parteivergleich/ Disallow: /subart/ Disallow: /temp/ Disallow: /test/ Disallow: /video/ Disallow: /wahlcomputer/ Disallow: /_grau.htmlDisallow: /wahlcomputer/ Disallow: /_grau.html