User-agent: *
Disallow: /*bmp*
Disallow: /*jpg*
Disallow: /geheim*/
Disallow: /forum*/
Disallow: /bilder_fun*/

# Google 404er Fehler zum entfernen
# Hier steht der Linkverweis fuer die XML Sitemap


# DIE REGELN by http://www.kohlfuerst.at/

# Disallow:/
# Gesamte Präsenz soll nicht gecrawlt werden

# Disallow: /*?
# Seiten, die ein Fragezeichen in der URL enthalten, sollen nicht gecrawlt werden

# Disallow: /verzeichnis/
# Allow: /verzeichnis/datei.htm
# Crawle verzeichnis nicht ausser datei.htm

# Disallow: /*.doc$
# Alle Dateien mit der Endung .doc sollen NICHT gecrawlt werden

# Disallow: /*?
# Allow: /*?$
# Alle Dateien nicht crawlen, die ein Fragezeichen enthalten. 
# Dateien, welche direkt mit einem Fragezeichen enden, sollen hingegen indexiert werden

# Disallow: /nein*/
# Alle verzeichnisse die mit nein beginnen ( /neinsagen/, /nein-meinen/ etc.) vom Crawling ausschliessen