HAllo,

habe auf http://de.selfhtml.org/diverses/robots.htm folgenden Absatz gelesen...

"Bei den Angaben zu Disallow: können Sie Verzeichnispfade und einzelne Dateien mit Pfadangabe angeben. Wildcards wie * oder *.* sind dabei nicht erlaubt. Achten Sie darauf, bei Verzeichnispfaden einen abschließenden Schrägstrich / zu notieren. Wenn Sie nämlich beispielsweise /index notieren, wäre auch die Datei /index.html betroffen, und nicht nur das Unterverzeichnis /index/."

...und mich dabei gefragt, ob dann nicht der Abschnitt in der Installationanleitung falsch ist, denn dort steht, man solle in der robots einfügen:

[2c] Sollten Sie bereits eine Robots.txt Datei in ihrem Hauptverzeichnis haben, ergänzen Sie die Datei um folgende Regeln:

User-agent: *
Disallow: /spider-trap

User-agent: googlebot
Disallow: /spider-trap

Also der / hinter der angabe fehlt. Wie muss es denn dann heißen oder ist das ein fehler in der anleitung? ich wprde sagen:
User-agent: *
Disallow: /spider-trap/

User-agent: googlebot
Disallow: /spider-trap/



Danke
TM

» User-agent: *
» Disallow: /spider-trap/
»
» User-agent: googlebot
» Disallow: /spider-trap/
»

so wäre es wohl richtiger - werde es in den nächsten Tagen ändern.
Wobei das aber von den Suchmaschinen erkannt wird und nicht etwa spider-trap.html intepretiert wird. Auf jeden Fall danke für den Hinweis

Suche noch Programmierer für das Spider Trap Team, die mir helfen die Software weiterzuentwickeln.