zurück zum Allgemeines | Seiten

Harry Haller

02.12.2009, 15:33
 

Bing indiziert Spider-Trap-Seiten (Allgemeines)

Hallo,

ich habe festgestellt, dass Microsoft's Suchmaschine Bing.com die (eigentlich versteckte!) Spider-Trap-Seite unter den ersten Top-Suchergebnissen einer meiner Domains aufführt. Wenn Besucher gleich in der Spinnenfalle landen, könnten sie die Webseite fortan meiden - das ist natürlich gar nicht schön.

Selbstverständlich habe ich das ganze Spider-Trap-Verzeichnis per .htaccess ausgeschlossen und andere Suchmaschinen halten sich offensichtlich auch daran.

Bisher hatte ich das Verzeichnis zwar nicht explizit für Bing (User-agent: MSNBot) ausgeschlossen, wohl aber durch den Wildcard-Abschnitt (User-agent: *) durch den sich doch eigentlich jeder anständige Bot angesprochen fühlen sollte, auch wenn er nicht explizit aufgeführt ist.

Möglicher Weise fühlte sich Bing auch nicht an die robots.txt gebunden, weil der MSNBot meint, darin Syntaxfehler gefunden zu haben. Jedenfalls meldete das "Robots.txt validation tool", das sich im Bing Webmaster Center findet
http://www.bing.com/webmaster/RobotReportPage.aspx einige Fehler (weiterer Robots-Checker: http://tool.motoricerca.info/robots-checker.phtml). Ich habe die Robots.txt jetzt entsprechend geändert (nur ein Agent pro Abschnitt, Agent-Abschnitte durch Leerzeilen getrennt) und werde nun beobachten, ob sich das Resultat bei Bing ändert.

Hat sonst noch jemand so so Phänomen festgestellt, weiß jemand vielleicht sogar eine Lösung?

Harry Haller

02.01.2010, 21:39

Bing indiziert Spider-Trap-Seiten

Es dauerte eine Weile, aber es hat funktioniert!

Bing lässt jetzt die Finger von der versteckten Spider-Trap-Seite. Ich habe das auch bei einer zweiten Domain mit dem gleichen Problem erfolgreich probiert.

» Bisher hatte ich das Verzeichnis zwar nicht explizit für Bing (User-agent:
» MSNBot) ausgeschlossen, wohl aber durch den Wildcard-Abschnitt (User-agent:
» *) durch den sich doch eigentlich jeder anständige Bot angesprochen fühlen
» sollte, auch wenn er nicht explizit aufgeführt ist.
»
» Möglicher Weise fühlte sich Bing auch nicht an die robots.txt gebunden,
» weil der MSNBot meint, darin Syntaxfehler gefunden zu haben. Jedenfalls
» meldete das "Robots.txt validation tool", das sich im Bing Webmaster Center
» findet http://www.bing.com/webmaster/RobotReportPage.aspx einige Fehler
» (weiterer Robots-Checker: http://tool.motoricerca.info/robots-checker.phtml).
» Ich habe die Robots.txt jetzt entsprechend geändert (nur ein Agent pro
» Abschnitt, Agent-Abschnitte durch Leerzeilen getrennt) und werde nun
» beobachten, ob sich das Resultat bei Bing ändert.

Viele Grüße
H.H.


Ähnliche Beiträge
Thema Author Antworten Letzter Beitrag
Meine Seite wurde durch Spider-Trap für einen Tag lahmgelegtThemenmixer215.01.2006, 11:43
Suchreihenfolge der Spidernorberti206.03.2007, 11:33
Spider installiert, aber noch einige Fragenabi006.10.2007, 19:21
Versehentlich auf spider trap link geklickt und jetzt?dekub004.12.2007, 20:10
Bad Spider ip adressenYuryR306.11.2007, 09:55



zurück zum Allgemeines | Seiten