[an error occurred while processing this directive]

Programme von Machern für Macher

Die Grammiweb-Produktreihe hält viele praktische Tools für Webdesigner bereit

Hier klicken und mehr erfahren

Ganz schön bunt

Laden Sie jetzt stimmige Farbwelten für Ihre Webseiten herunter - kostenlos

Hier klicken und mehr erfahren

[an error occurred while processing this directive]

(Stand: 05.12.24, Adresse: http://www.grammiweb.de/informativ/praxis/robots.shtml)

 

Die Datei "robots.txt"

Mitunter kann das Aussperren der Suchroboter von Suchmaschinen sehr sinnvoll sein - beispielsweise bei nur zeitweise vorhandenen Unterseiten, die nur für kurze Zeit online sind, ständig wechselnden Adressen etc... Wird den Robots nichts anderes mitgeteilt, werden diese Seiten ins Verzeichnis aufgenommen und verärgern den ein oder anderen Surfer, versucht dieser, diese Seiten aufzurufen.

Um die Suchrobots von der Indizierung solcher Inhalte abzuhalten wurde die Datei "robots.txt" ins Leben gerufen. Diese Datei wird von nahezu allen Robots akzeptiert und regelt das Verkehrswesen für die Suchmaschinenhelfer, indem sie Unterverzeichnisse freigibt oder sperrt. Die "robots.txt" wird als ASCII-Datei im Hauptverzeichnis einer Website abgelegt, also in dem Verzeichnis, in dem sich auch die Datei "index.htm" befindet.

Die Datei "robots.txt" besteht aus zweierlei Informationen: Zum einen wird der Name des Suchagenten genannt, zum anderen der Bereich, der von diesem nicht besucht werden soll.

Beispiel

User-agent: fireball
Disallow: /hiernicht/
Disallow: /hierauchnicht/
Disallow: /hierschon/dienicht.html

Dem Roboter der Suchmaschine "Fireball" wird hiermit der Zugriff auf die Unterverzeichnisse "/hiernicht/" und "/hierauchnicht/" verwehrt, und auch die Datei "dienicht.html" im Unterverzeichnis "/hierschon/" wird nicht indiziert werden.

Um nicht für jeden Roboter einzeln einen solchen Eintrag in der "robots.txt" erstellen zu müssen, haben sich auch Platzhalter bewährt. So spricht der Eintrag "User-agent: *" alle Agenten an, und der Eintrag "Disallow: /" sperrt alle Informationen einer Internetpräsenz. Soll die komplette Website freigegeben werden, so wird der Eintrag "Disallow: " ohne weiteren Zusätze verwendet.

Um die Datei "robots.txt" mit Kommentaren zu versehen, wird das Zeichen "#" verwendet, um eine solche Bemerkung anzugrenzen.


Zurück zum Inhaltsverzeichnis

[an error occurred while processing this directive] [an error occurred while processing this directive]

© Grammiweb.de Internetlösungen. Alle Rechte vorbehalten. Stand: 05.12.2024
Seitenanfang - Sponsor werden - Datenschutz - Medien - Impressum - Werbung - Hilfe - Kontakt