# Das ist ein Kommentar, dazu reicht das # am Zeilenanfang
#
# Die Datei robots.txt ist kein richtiger Standard, Pfade (incl. ihrer Unterpfade) können nur
# ausgeschlossen werden, "böse" Suchmaschinen ignorieren sie wahrscheinlich. Mit der Datei können
# im Gegensatz zu den Header- Einträgen ganze Verzeichnisse global von der Aufnahme in Suchmaschinen
# ausgenommen werden.
#
# Der Dateiname robots.txt muss kleingeschrieben sein und muss sich im Hauptverzeichnis
# der Domain befinden, bei Webspace-Angeboten funktioniert sie nicht, da man in solchen Fällen
# nur Zugriff auf Unterverzeichnisse hat
#
# Aufbau der robots.txt
# Die Anweisungen erfolgen Absatzweise, erst die Suchmaschine(n), dann die Verzeichnisse und Seiten,
# die nicht aufgenommen werden sollen, das * ist als Platzhalter zulässig. Es ist zulässig, in einem
# Absatz zeilenweise erst mehrere Suchmaschinen und dann mehrere Pfade anzugeben. Sollen Suchmaschinen
# direkt angesprochen werden, muss ihr Name bekannt sein, * steht für alle. Es kann nur ausgeschlossen,
# nicht aber erlaubt werden. Bei Pfadangaben auf den / am Zeilenende achten, da er sonst als Dateiname
# interpretiert wird. Mit der Anweisung
#
# User-Agent: *
# Disallow: /
#
# würde die gesamte Seite für alle Suchmaschinen gesperrt werden.

# Damit Suchmaschinen Bilder nicht in ihre Suche aufnehmen:
#
User-Agent: *
Disallow: /bilder/
Disallow: /bilder_sicherheit/

# Damit Suchmaschinen Anweisungs- und Testdateien nicht in ihre Suche aufnehmen:
#
User-Agent: *
Disallow: /cgi-data/
Disallow: /css/
Disallow: /library/
Disallow: /seiten_geschuetzt/
Disallow: /Templates/
Disallow: /test/

# Damit Suchmaschinen die Datensicherunngen nicht in ihre Suche aufnehmen:
#
User-Agent: *
Disallow: /alte/