Hallo,

ich habe festgestellt, dass Microsoft's Suchmaschine Bing.com die (eigentlich versteckte!) Spider-Trap-Seite unter den ersten Top-Suchergebnissen einer meiner Domains aufführt. Wenn Besucher gleich in der Spinnenfalle landen, könnten sie die Webseite fortan meiden - das ist natürlich gar nicht schön.

Selbstverständlich habe ich das ganze Spider-Trap-Verzeichnis per .htaccess ausgeschlossen und andere Suchmaschinen halten sich offensichtlich auch daran.

Bisher hatte ich das Verzeichnis zwar nicht explizit für Bing (User-agent: MSNBot) ausgeschlossen, wohl aber durch den Wildcard-Abschnitt (User-agent: *) durch den sich doch eigentlich jeder anständige Bot angesprochen fühlen sollte, auch wenn er nicht explizit aufgeführt ist.

Möglicher Weise fühlte sich Bing auch nicht an die robots.txt gebunden, weil der MSNBot meint, darin Syntaxfehler gefunden zu haben. Jedenfalls meldete das "Robots.txt validation tool", das sich im Bing Webmaster Center findet
http://www.bing.com/webmaster/RobotReportPage.aspx einige Fehler (weiterer Robots-Checker: http://tool.motoricerca.info/robots-checker.phtml). Ich habe die Robots.txt jetzt entsprechend geändert (nur ein Agent pro Abschnitt, Agent-Abschnitte durch Leerzeilen getrennt) und werde nun beobachten, ob sich das Resultat bei Bing ändert.

Hat sonst noch jemand so so Phänomen festgestellt, weiß jemand vielleicht sogar eine Lösung?

Es dauerte eine Weile, aber es hat funktioniert!

Bing lässt jetzt die Finger von der versteckten Spider-Trap-Seite. Ich habe das auch bei einer zweiten Domain mit dem gleichen Problem erfolgreich probiert.

» Bisher hatte ich das Verzeichnis zwar nicht explizit für Bing (User-agent:
» MSNBot) ausgeschlossen, wohl aber durch den Wildcard-Abschnitt (User-agent:
» *) durch den sich doch eigentlich jeder anständige Bot angesprochen fühlen
» sollte, auch wenn er nicht explizit aufgeführt ist.
»
» Möglicher Weise fühlte sich Bing auch nicht an die robots.txt gebunden,
» weil der MSNBot meint, darin Syntaxfehler gefunden zu haben. Jedenfalls
» meldete das "Robots.txt validation tool", das sich im Bing Webmaster Center
» findet http://www.bing.com/webmaster/RobotReportPage.aspx einige Fehler
» (weiterer Robots-Checker: http://tool.motoricerca.info/robots-checker.phtml).
» Ich habe die Robots.txt jetzt entsprechend geändert (nur ein Agent pro
» Abschnitt, Agent-Abschnitte durch Leerzeilen getrennt) und werde nun
» beobachten, ob sich das Resultat bei Bing ändert.

Viele Grüße
H.H.