Hallo zusammen
Ich möchte mich kurz vorstellen, da ich neu im Forum bin.
Mein Name abi, im wahren Leben Günter. 50 Jahre alt.
Ich habe das Script installiert, scheint zu funktionieren.
Erstmal großes Lob an die Entwickler, tolles Script.

Aber jetzt zu meinen Fragen:
Da heute Nacht ein Googlebot in die Falle gegangen ist und ich ihn gerne freischalten möchte, was muss ich tun?
Habe in der Blacklist die Daten gelöscht, aber in der .htaccess, wie gehe ich da vor? (deny from 64.1..usw.)

Wie kann ich vorgehen, dass bestimmte Bots nicht in die Falle tappen?

In der User-Agent.txt sind ca. 30/40 Einträge. Was hat es damit auf sich?

Vielleicht kann mir jemand ein wenig auf die Sprünge helfen.

Ich freue mich auf Eure Antwort.

Gruss abi

Hallo Abi,
herzlich Willkommen hier im Forum.

» Aber jetzt zu meinen Fragen:

» Da heute Nacht ein Googlebot in die Falle gegangen ist und ich ihn gerne
» freischalten möchte, was muss ich tun?
» Habe in der Blacklist die Daten gelöscht, aber in der .htaccess, wie gehe
» ich da vor? (deny from 64.1..usw.)

Der wirkliche Googlebot geht nicht in die Falle !

Also schau bitte mit der IP auf
http://whois.domaintools.com/72.30.177.125

hinten natürlich deine IP von der du vermutest dass Sie zu Google gehört. Viele Surfer sind mit der Userkennung vom Googlebot unterwegs - warum auch immer
Du kannst dir gerne bei Google mit "site:spider-trap.de" ansehen wenn das nicht klappen würde wäre die Domain nicht mehr in Google enthalten.

» Wie kann ich vorgehen, dass bestimmte Bots nicht in die Falle tappen?

Dafür gibt es die Whitelist die du im Admin verwalten kannst. Da kannst du dann z.B. googlebot eintragen. Aber dann sperrst du halt keine BadBots mit der Userkennung Googlebot aus.

» In der User-Agent.txt sind ca. 30/40 Einträge. Was hat es damit auf sich?
»
» Vielleicht kann mir jemand ein wenig auf die Sprünge helfen.

In den User-Agents kannst du User aussprerren wie z.B.
FlashGet
GetRight
die halt die Seiten 1:1 kopieren und dynamische IPs haben

Wenn du da z.B. "mozilla" reinschreibst könntest du alle Firefox User aussperren. Macht natürlich keinen Sinn alle auszusperren - aber zeigt halt wie mächtig Spider-trap.de sein kann.
Gerade die Offline Browser würde ich da reinnehmen.

Gruß Thomas

Suche noch Programmierer für das Spider Trap Team, die mir helfen die Software weiterzuentwickeln.

» Hallo Abi,
» herzlich Willkommen hier im Forum.
»
» » Aber jetzt zu meinen Fragen:
»
» » Da heute Nacht ein Googlebot in die Falle gegangen ist und ich ihn
» gerne
» » freischalten möchte, was muss ich tun?
» » Habe in der Blacklist die Daten gelöscht, aber in der .htaccess, wie
» gehe
» » ich da vor? (deny from 64.1..usw.)
»
» Der wirkliche Googlebot geht nicht in die Falle !
»
» Also schau bitte mit der IP auf
» http://whois.domaintools.com/72.30.177.125
»
» hinten natürlich deine IP von der du vermutest dass Sie zu Google gehört.
» Viele Surfer sind mit der Userkennung vom Googlebot unterwegs - warum auch
» immer
» Du kannst dir gerne bei Google mit "site:spider-trap.de" ansehen wenn das
» nicht klappen würde wäre die Domain nicht mehr in Google enthalten.
»
» » Wie kann ich vorgehen, dass bestimmte Bots nicht in die Falle tappen?
»
» Dafür gibt es die Whitelist die du im Admin verwalten kannst. Da kannst du
» dann z.B. googlebot eintragen. Aber dann sperrst du halt keine BadBots mit
» der Userkennung Googlebot aus.
»
» » In der User-Agent.txt sind ca. 30/40 Einträge. Was hat es damit auf
» sich?
» »
» » Vielleicht kann mir jemand ein wenig auf die Sprünge helfen.
»
» In den User-Agents kannst du User aussprerren wie z.B.
» FlashGet
» GetRight
» die halt die Seiten 1:1 kopieren und dynamische IPs haben
»
» Wenn du da z.B. "mozilla" reinschreibst könntest du alle Firefox User
» aussperren. Macht natürlich keinen Sinn alle auszusperren - aber zeigt halt
» wie mächtig Spider-trap.de sein kann.
» Gerade die Offline Browser würde ich da reinnehmen.
»
» Gruß Thomas

Hallo Thomas

Schönen Dank für Deine Aüsführungen!

Ich habe festgestellt, dass mein Provider (Server) die Befehle in der .htaccess nicht unterstützt und ausführt.

Da kann man wohl nichts machen, außer den Provider wechseln der dies unterstützt oder umschwenken auf einen eigenen Server?

Wie meinst Du?

Gruß abi

Man müsste die Spider Trap umbauen damit Sie auch ohne htaccess Sperren funktioniert. Möglich ist das schon

- aber ein Provider Wechsel ist wohl einfacher - ein eigener Server muss nicht sein. Zugriff auf htaccess ist ja fast schon normal - außerdem kann man in der htaccess auch mehr machen - weiterleitungen usw.

Suche noch Programmierer für das Spider Trap Team, die mir helfen die Software weiterzuentwickeln.

» Hallo Abi,

» In den User-Agents kannst du User aussprerren wie z.B.
» FlashGet
» GetRight
» die halt die Seiten 1:1 kopieren und dynamische IPs haben
»
»
» Gruß Thomas

Hallo,

erst einmal vielen Dank für das sehr hilfreiche Script. Habe versucht in der user_agent.txt definierte Bots mit firefox und User Agent Switcher zu simulieren, gesperrt wird leider nichts!

Wie kann ich da machen?

Gruß
Thomas