Hallo,

ich bin eigentlich sehr begeistert von Spider Trap.
Trotz dem hinterlässt es immer ein komisches Gefühl wenn
angeblich der bot von MSN oder Yahoo raus geworfen wird.
Vermutlich sind das alles Fakes. Dennoch würde ich gerne
hier mal meine Blacklist posten. Es könnte ja sein das
ich als newbie etwas falsch mache.

80.253.80.54|29.05.2007|16.01.08|no referer|Microsoft URL Control - 6.00.8862|
88.74.35.174|30.05.2007|20.52.53|no referer|Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; .NET CLR 1.1.4322)|
217.234.209.73|30.05.2007|22.30.21|no referer|Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; .NET CLR 1.1.4322)|
74.6.86.162|31.05.2007|13.35.14|no referer|Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)|
193.108.10.139|31.05.2007|14.46.37|no referer|Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0)|
212.183.99.45|31.05.2007|22.10.14|no referer|Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322)|
84.162.112.246|31.05.2007|23.06.56|no referer|Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; .NET CLR 1.1.4322)|
65.55.235.141|02.06.2007|15.09.44|no referer|msnbot-media/1.0 (+http://search.msn.com/msnbot.htm)|
74.6.72.251|02.06.2007|20.08.10|no referer|Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)|
65.55.208.189|02.06.2007|23.19.31|no referer|msnbot/1.0 (+http://search.msn.com/msnbot.htm)|
72.44.58.113|03.06.2007|19.19.04|no referer|ilial/Nutch-0.9 (Ilial, Inc. is a Los Angeles based Internet startup company. For more information please visit http://www.ilial.com/crawler; http://www.ilial.com/crawler; crawl@ilial.com)|
196.37.192.223|04.06.2007|07.31.11|no referer|ISC Systems iRc Search 2.1|
65.54.188.92|04.06.2007|16.37.42|no referer|msnbot/1.0 (+http://search.msn.com/msnbot.htm)|
74.6.17.218|04.06.2007|18.49.29|no referer|Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)|
74.6.25.73|05.06.2007|10.55.51|no referer|Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)|
72.14.194.32|05.06.2007|22.25.38|no referer|cks|



Hat das wirklich so seine Richtigkeit denn wenn ich
auf die Whois Abfragen klicke wird mir Teilweise wirklich
MS oder yahoo e.t.c. als Besitzer der Ip angezeigt.

Es wäre nett wenn mir einer aus meiner Verwirrung helfen könnte.

Gruß

Micha

Hm einige davon stammen wirklich von Yahoo.

http://help.yahoo.com/help/us/ysearch/slurp/slurp-02.html
Hier steht auch klar drin dass sich der Slurp an die robots.txt hält.

Ich schau am Freitag mal ob ich das beheben kann durch einen RDNS Check ähnlich wie bei Google....

Gruß Thomas

Suche noch Programmierer für das Spider Trap Team, die mir helfen die Software weiterzuentwickeln.

Hallo Thomas,

uff dann freu ich mich das meine Installaion doch
funktioniert.

Wie läuft das dann müssen wir dann unsere Spider-Trap
Version updaten ?


Sorry das ich so dumm Frage aber ich bin mit der Materie
bots htaccess noch sehr neu.

Vielen Dank

Gruß

Micha

Hallo,

» uff dann freu ich mich das meine Installaion doch
» funktioniert.

Falls folgendes in der robots.txt in deinem Hauptverzeichnis steht - ja

User-agent: *
Disallow: /spider-trap

User-agent: googlebot
Disallow: /spider-trap

» Wie läuft das dann müssen wir dann unsere Spider-Trap
» Version updaten ?
»

ja aber ich denke nur ein Source Datei. Wahrscheinlich die functions.php


» Sorry das ich so dumm Frage aber ich bin mit der Materie
» bots htaccess noch sehr neu.

kein Problem - lieber mal nachfragen...

Suche noch Programmierer für das Spider Trap Team, die mir helfen die Software weiterzuentwickeln.

Gibts in dem Fall Neuigkeiten?

Bei mir sind zwei Slurps in der Falle gelandet (wogegen ich eigentlich fast gar nichts habe)

IP: 74.6.17.137
User-Agent: Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)

IP: 74.6.19.13
User-Agent: Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)

Vielleicht liegt's daran:
Kann es sein, dass sich Slurp in der robots.txt zwar an die spezifisch an ihn gerichteten Direktiven hält, aber nicht an die mit Wildcard (User-agent: *), sofern die spezifische an erster Stelle kommt?

>>Yahoo! Slurp beachtet den ersten Eintrag in der robots.txt Datei mit einem User-Agent „Slurp". Ist ein solcher nicht vorhanden, beachtet Yahoo! Slurp der ersten Eintrag mit einem User-Agent „*".>> <http://help.yahoo.com/help/de/ysearch/slurp/slurp-02.html>

Leider hab ich aber von meinem Yahoo Kontakt keine Antwort diesbezüglich bekommen.

Aber das kann gut sein. Ich denke vielleicht sollte man den Slurp ähnlich wie den Googlebot direkt inder robots ansprechen.

Kannst du das mal austesten und mir bitte dein Feedback geben ?

Gruß Thomas

Suche noch Programmierer für das Spider Trap Team, die mir helfen die Software weiterzuentwickeln.

» Ich denke vielleicht sollte man den Slurp ähnlich
» wie den Googlebot direkt inder robots ansprechen.
»
» Kannst du das mal austesten und mir bitte dein Feedback geben ?

Mach ich mal. Nach dem Schema:

User-agent: msnbot
Crawl-Delay: 20
Disallow: /mausefalle

User-agent: Slurp
Crawl-Delay: 20
Disallow: /mausefalle

User-agent: googlebot
Disallow: /mausefalle

User-agent: *
Disallow: /mausefalle

» » Ich denke vielleicht sollte man den Slurp ähnlich
» » wie den Googlebot direkt inder robots ansprechen.
» »
» » Kannst du das mal austesten und mir bitte dein Feedback geben ?
»
» Mach ich mal. Nach dem Schema:
»
» User-agent: msnbot
» Crawl-Delay: 20
» Disallow: /mausefalle
»
» User-agent: Slurp
» Crawl-Delay: 20
» Disallow: /mausefalle
»
» User-agent: googlebot
» Disallow: /mausefalle
»
» User-agent: *
» Disallow: /mausefalle

So, das scheint erfolgreich zu sein:
1. Slurp kommt noch
2. und tappt nicht in die Falle

» So, das scheint erfolgreich zu sein:
» 1. Slurp kommt noch
» 2. und tappt nicht in die Falle

Super danke für den Test....
werde ich in die nächste Version packen...

Suche noch Programmierer für das Spider Trap Team, die mir helfen die Software weiterzuentwickeln.