Die Datei robots.txt erklärt

Robots.txt kurz erklärt:

Die Datei robots.txt ist ein nützliches Werkzeug, um den Zugriff von Robots auf Ihre Website einzuschränken, etwa auf Inhalte in Bearbeitung und sensible Informationen. Derzeit wird von der Robots Exclusion Standard Working Group keine Allow-Direktive empfohlen, mit der Robots dazu veranlasst würden, Teile der Website zu indexieren. Dies lässt sich weiterhin durch interne und externe Verlinkung Ihrer Website anstoßen.

Bei der Auswertung der Nutzungsstatistiken Ihrer Website ist Ihnen möglicherweise ein Verweis auf eine Datei mit dem Namen „robots.txt“ aufgefallen. Dabei handelt es sich um eine grundlegende Konfigurationsdatei, anhand derer Robots (Suchmaschinen-Crawler) erkennen, welche Dateien und Verzeichnisse sie nicht indexieren sollen.

Es ist wichtig, dass sich im root-Verzeichnis Ihrer Website eine Datei mit dem Namen robots.txt befindet (http://www.yourdomain.com/robots.txt). Die robots.txt dient im Wesentlichen dazu, festzulegen, welche Dateien und Verzeichnisse die Robots nicht indexieren sollen.

Die Syntax der robots.txt-Datei besteht aus 2 Komponenten: der User-Agent-Zeile und der Disallow-Zeile.

Die Syntax lautet wie folgt:

User-agent
Eine Liste der Robots, die Ihre Website besuchen, finden Sie in den Statistikprotokollen Ihrer Website. Eine Liste von User-Agents finden Sie unter http://www.robotstxt.org/wc/active.html

In der User-Agent-Syntax kann ein bestimmter Robot angegeben werden.

User-agent: Googlebot

Mit einem Platzhalter können außerdem alle Robots angesprochen werden.

User-agent: *

Disallow
In diesem Abschnitt der Syntax wird festgelegt, welche Dateien und Verzeichnisse nicht indexiert werden sollen.

Wenn Sie eine Seite mit dem Namen „addresses.html“ haben, die der Robot nicht indexieren soll, fügen Sie nach der User-agent-Syntax die folgende Zeile hinzu:

Disallow: addresses.html

Sie können den Robot auch auf Verzeichnisebene einschränken. Wenn das Verzeichnis „/billing“ auf Ihrer Website von der Indexierung ausgeschlossen werden soll, fügen Sie nach der User-agent-Syntax den folgenden Text ein.

Disallow: /billing/

Mit einem Platzhalter können außerdem alle Dateien einer Website angegeben werden.

Disallow: /

Wie füge ich Kommentare in meine robots.txt-Datei ein?
Kommentare können in die robots.txt-Datei eingefügt werden, indem Sie dem Text ein „#“ voranstellen. Ein Beispiel:

# specifies googlebot as the User-agent.
User-agent: Googlebot

Es empfiehlt sich, Kommentare in einer separaten Zeile und nicht in derselben Zeile wie die Anweisung zu platzieren. Vermeiden Sie außerdem Leerzeichen am Anfang von Anweisungszeilen.


robots.txt in der Praxis einsetzen:
Nachdem wir nun die Funktionsweise der robots.txt kennen, wenden wir sie in der Praxis an.

Wenn Sie allen Robots den Zugriff auf alle Seiten Ihrer Website erlauben möchten, verwenden Sie in der Datei robots.txt in Ihrer Syntax den Platzhalter "*".

User-agent: *
Disallow:

Um die Indexierung Ihrer Website vollständig zu untersagen, geben Sie in Ihrer Datei robots.txt folgenden Text ein:

User-agent: *
Disallow: /

Robots die Indexierung von Seiten in einem Verzeichnis mit dem Namen 'billing' untersagen.

User-agent: *
Disallow: /billing/

Robots die Indexierung von Seiten in den Verzeichnissen "billing" und "address" untersagen.

User-agent: *
Disallow: /billing/
Disallow: /address/

Googlebot den Zugriff auf Ihre Website untersagen.

User-agent: googlebot
Disallow: /

Googlebot den Zugriff auf Ihre Kontaktseite (contact-us.html) untersagen.

User-agent: googlebot
Disallow: /contact-us.html

Googlebot den Zugriff auf Ihre Kontaktseite (about-us/contact-us.html) untersagen.

User-agent: googlebot
Disallow: /about-us/contact-us.html