ich frage mich, ob der Einsatz von Spider Trap noch Sinn macht.

Ich habe meine Fallen seit ca. 2 Wochen aufgestellt und kein einziger ist bisher reingegangen.

auch diverse Bad Bots die im Admin unter User Agents stehen crawlen munter lustig meine Seite weiter.

Diese sollten doch Blacklisted sein, oder habe ich da was falsch verstanden ?


Grüsse
Gerhard

anscheinend ist es tatsächlich so.

Schade.

sicher ist Sie noch zeitgemäß !

Suche noch Programmierer für das Spider Trap Team, die mir helfen die Software weiterzuentwickeln.

Hallo JR,

danke für deinen Antwort.

ist die User Agent List im Admin Breich Black oder White List ?

Eine Blacklist - diese User-Agents werden geblockt.

» Hallo JR,
»
» danke für deinen Antwort.
»
» ist die User Agent List im Admin Breich Black oder White List ?

Suche noch Programmierer für das Spider Trap Team, die mir helfen die Software weiterzuentwickeln.

» Eine Blacklist - diese User-Agents werden geblockt.

aber wie werden diese geblockt ?

es gibt keinen EIntrag in der .htaccess dazu oder verstehe ich da was nicht ?


aktuell sieht meine so aus:


# Wenn Zugriff verweigert zur Fehlerseite weiterleiten
ErrorDocument 403 /inhalt/forbid.php

# Weiterleitung bei Zugriff auf /.
RewriteRule ^[^?]*/.[^.] /inhalt/forbid.php

Deny from ....


fakt ist, dass ich erst kürlich vom ia_archiver gecrawlt wurde und der wurde definitiv nicht geblockt, steht aber in den User-Agents drin !

» Eine Blacklist - diese User-Agents werden geblockt.
»
» » Hallo JR,
» »
» » danke für deinen Antwort.
» »
» » ist die User Agent List im Admin Breich Black oder White List ?


Muss da noch ein Eintrag in die .htaccess ?

weil das ja nur für das Spider Trap Verzeichnis gilt.

Ansonsten müsstest du meine Funktionen in deine Seite per Include einbinden und bei jedem Aufruf diese Funktion aufrufen.

Suche noch Programmierer für das Spider Trap Team, die mir helfen die Software weiterzuentwickeln.

da heisst dann ja, dass die Bots aus der Blackliste für den spidertrap Ordner blacklistet sind, aber die eigenltiche Seite crawlen dürfen.

Dann macht die Blackliste ja gar keinen Sinn, denn wer den spidertrap Ordner crawlt wird eh per .htaccess gebannt und dann ja für die eigentliche Seite.

Somit muss die Funktion von spidertrap ja included werden, zumindest die Blacklist.

Gerhard

Neu in der Version 1.1 ist auch die Unterstützung von IP Ranges in der Black- und Whitelist.
Viele Nutzer nutzen ja die Spider Trap als Anti Spam API und stellen ja keine Falle im eigentlichen Sinne auf, sondern nutzen die Funktionen der “functions.php” um die Funktionalität der Sperren damit zu realisieren.
Hierzu includieren Sie die /spider-trap/forbid.php in den Header Bereich ihres CMS oder an einer anderen Stelle die bei jedem Seitenzugriff aufgerufen wird. Dann definieren Sie z.B. bekannte Bad Bots und IP Adressen in der Blacklist.txt oder User Agents in der user_agents.txt.
Über die forbid.php wird die functions.php includiert, in der ja mit den Functions is_blacklisted, is_whitelisted und add_blacklist Werkzeuge zur Verfügung stehen, um Sperren einzurichten und zu prüfen.

Suche noch Programmierer für das Spider Trap Team, die mir helfen die Software weiterzuentwickeln.

» da heisst dann ja, dass die Bots aus der Blackliste für den spidertrap
» Ordner blacklistet sind, aber die eigenltiche Seite crawlen dürfen.

Und das will ich nicht. Wenn schon sperren dann auch für die komplette Seite. Wie kann ich das realisieren? Ich muss jetzt jedem Bot hintzerherlaufen und das von Hand eintragen. Dieser Krüppel Java/1.xxx geht mir tierisch auf den Senkel.

Lutz