Hallo,

zuerst ein großes Lob, ein klasse Script was mich sofort überzeugt hat, und vorerst zu Testzwecken in meinem Testauktionshaus eingebunden habe.
Es vergingen kaum 10 Minuten, war auch schon der erste Bot drinnen

Hab mir die Zeit genommen, alle Postings auch die alten in diesem Forum zu lesen, dennoch sind ein paar wichtige Fragen offen geblieben.

Meine Webseite ist unter zahlreichen Keywörtern bei google auf Platz 1, auch die meisten eingestellten Auktionen sind auf der ersten Seite gelistet, im Schnitt habe ich 10.000- 25.000 (variiert sehr stark) indexierte Seiten, sowie 10.000 Links etc. daher auch allein von google täglich Tausende Besucher.
Es kann sich jeder ausrechnen was es an Geld, Zeit und Nerven gekostet hat, bei google vorne zu sein, auch liest google täglich meine neuen Auktionen aus, heute eingestellt sind diese bereits morgen bei google gelistet, nun meine Frage, kann ich davon zu 100% ausgehen dass kein goolge Bot in die Falle geht

Was mir auch aufgefallen ist, es wird im Forum immer NUR google erwähnt, ich habe aber auch zahlreiche gut posizioniert gelistete Seiten, bei Yahoo, Fireball, Abacho und allen anderen bekannten Suchmaschinen, und auch diese bringen viele Besucher, wie sieht es bei denen aus
Mann kann sich ja nicht nur nach google richten, es kommen ja auch viele Besucher von anderen Suchmaschinen, diversen Linklisten, Webkataloge, insbesondere ALEXA welche auch täglich das Netz Spidern, um die Suchmaschine, Linkliste etc. zu füllen, wurden diese bei dem Tool berücksichtigt, oder gehen die gnadenlos in die Falle

Zu meiner letzten Frage, ich beschäftige mich zwar relativ viel mit der Materie, Hacker, Spam, Viren, Contentklau etc. dennoch ist mir unklar was es auf sich hat, wie überall im Forum zu lesen ist, der Bot ist gefangen, wie darf ich das verstehen, auch steht bei einigen postings der Webmaster müsste in diesem Fall Anfragen, um den Bot wieder freischalten zu lassen.
Ist es nicht so, dass der Bot von Webseite zu Webseite geht, dieser dann zwar vielleicht in eine Falle tappt, aber anschließend die Webseite wieder verläßt um sich nach anderen Webseiten umzusehen in diesem Fall es den Bot ja ohnehin egal wäre ob dieser nun eine Webseite von Milliarden nicht auslesen zu können, für mich zwar ein Vorteil, aber kein Ärgernis für denjenigen der den bösen Bot los geschickt hat.

Über eine Antwort würde ich mich sehr freuen.

Grüße

Hallo,

» kann ich davon zu 100% ausgehen dass kein goolge
» Bot in die Falle geht

Ein klares Jein - 100% Sicherheit gibt es nicht. Google ist kein Bad Bot und hält sich auch an die robots.txt. Allerdings gab es Fälle auf Seiten wo Google und Yahoo in die Falle gegangen sind. Zwei Möglichkeiten dafür können sein.

a) nicht Erreichbarkeit der robots.txt
b) Robots von Google und Yahoo um Cloaking bzw Spam zu erkennen

aber trotzdem

a) Diese Domain setzt die Spider Trap seit 2 Jahren ein - ohne Probleme

b) Um nicht Google auszusperren ist ein RDNS Check implementiert - mit dem man den Googlebot nach Aussage von Google erkennen kann - der sich aber auch nicht 100% dran hält. Für Yahoo funktioinert das zwar auch aber Yahoo hält sich leider auch nicht 100% dran.

c) in den Google Webmaster Tools kann man aber sehen ob Google auf die Seite zugreifen kann oder ob ein Fehler aufgetreten ist.

Mir ist bisher keine Seite bekannt die aufgrund der Spider Trap ausgeschlossen wurde, aber viele Domains die wegen Contentklau abgstürzt sind ! Daher ist das Risiko gegenüber dem Nutzen schon sehr groß.


» Was mir auch aufgefallen ist, es wird im Forum immer NUR google erwähnt,
» ...wurden diese bei dem Tool
» berücksichtigt, oder gehen die gnadenlos in die Falle

Alle Suchmaschinen sind berücksichtigt.
MSN, Yahoo und Google haben halt aufgrund der Größe eine besondere Stellung.
Deswegen wird das hier auch so oft erwähnt.

aber halt wie oben erwähnt - 100% Sicherheit gibt es auch da nicht.

» ... der Bot ist gefangen,
» wie darf ich das verstehen,

Das heißt der Bot hat keinen Zugriff auf alle Unterseiten und wird ausgesperrt.

» es den Bot ja ohnehin egal wäre ob dieser nun eine Webseite von Milliarden
» nicht auslesen zu können, für mich zwar ein Vorteil, aber kein Ärgernis für
» denjenigen der den bösen Bot los geschickt hat.

ja aber genau das ist das Ziel. Er klaut bei DIR keinen Content

Suche noch Programmierer für das Spider Trap Team, die mir helfen die Software weiterzuentwickeln.