robots.txt

Wenn Sie Roboter nicht zu allen Verzeichnissen oder Seiten Zutritt geben wollen, können Sie das mit einer robots.tx-Datei, oder mit entsprechenden MetaTags erreichen.

Hier finden Sie eine Liste der gängigsten Roboter

Den folgenden Text speichern Sie unter robots.txt in das Hauptverzeichnis Ihrer Site.

# ist ein Kommentar

User-agent: webcrawler
Disallow:

# dem Herrn Webcrawler stehen alle Türen offen

User-agent: lycra
Disallow: /

# Frau Lycra darf nirgends rein

User-agent: *
Disallow: /cgi-bin
Disallow: /logs
Disallow: /privat

# Alle anderen (*) Roboterbubens und -mädelns dürfen
# überall ihre Nasen reinstecken mit Ausnahme der
# angeführten Verzeichnisse
Ansonsten können Sie können Sie den Roboterverkehr auf jeder Seite regeln, indem Sie einen der folgenden MetaTags in den Headbereich geben.

<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">
oder
<META NAME="ROBOTS" CONTENT="NOINDEX, FOLLOW">
oder
<META NAME="ROBOTS" CONTENT="INDEX,NOFOLLOW">
oder
<META NAME="ROBOTS" CONTENT="INDEX, FOLLOW">