Spider Trap Blog

Seit heute steht die Version 1.1 der Spider Trap zum Download bereit.

Spider Trap Download

Wichtigstes neues Feature ist die Mehrsprachigkeit. Momentan ist zwar nur Deutsch und Englisch implementiert aber durch die Strukturänderung können auch andere Sprachen leicht hinzugefügt werden. Ich würde mich freuen wenn mir jemand dabei helfen könnte die language Files in die anderen Sprachen zu übersetzen.
Interessant wären vorallem Italienisch, Französisch, Spanisch, Portugiesisch, Russisch, Polnisch, Schwedisch usw.

Desweiteren ist bei dem einem oder anderem der Googlebot in die Falle getappt. Ich habe hier zwar knapp 3000 Bad Bot IP Meldungen und knapp 1000 durchgearbeitet aber nie war ein Googlebot dabei der auch Google zuzuordnen wäre.
Aber um dem einfach vorzubeugen habe ich einen Googlebot RDNS Check eingebaut mit dem geprüft wird ob die IP zu Google gehört.
So wie es hier beschrieben steht.
http://googlewebmastercentral.blogspot.com/2006/09/how-to-verify-googlebot.html
Diesen Check läuft vor der Sperrung der IPs ab, sprich Spider Trap sperrt den Googlebot nicht aus, auch wenn er in die Falle gegangen ist.
Daher ist eine Nennung des Googlebots in der Whitelist nicht mehr notwenig und sollte daher auch entfernt werden um die Fakes einzufangen.

Neu in der Version 1.1 ist auch die Unterstützung von IP Ranges in der Black- und Whitelist.
Viele Nutzer nutzen ja die Spider Trap als Anti Spam API und stellen ja keine Falle im eigentlichen Sinne auf, sondern nutzen die Funktionen der “functions.php” um die Funktionalität der Sperren damit zu realisieren.
Hierzu includieren Sie die /spider-trap/forbid.php in den Header Bereich ihres CMS oder an einer anderen Stelle die bei jedem Seitenzugriff aufgerufen wird. Dann definieren Sie z.B. bekannte Bad Bots und IP Adressen in der Blacklist.txt oder User Agents in der user_agents.txt.
Über die forbid.php wird die functions.php includiert, in der ja mit den Functions is_blacklisted, is_whitelisted und add_blacklist Werkzeuge zur Verfügung stehen, um Sperren einzurichten und zu prüfen.
Dieses Feature der IP Ranges ist vorallem für solche Nutzer gedacht und es entsteht dadurch die Möglichkeit ganze Länder auszusperren. Idee dazu hab ich mir von Johannes geklaut
laender-via-htaccess-sperren

Hier die neuen Funktionen im Überblick.

Version 1.1 - 05.06.2007
- Mehrsprachigkeit ( momentan nur Deutsch und Englisch)
- Fehlerbehebungen (Password, Captcha)
- Install Script verbessert
- IP in der Whitelist zulässig
- Googlebot RDNS Check (zur Erkennung von Googlebot Fakes)
- IP Ranges in der Whitelist / Blacklist um z.B. ganze Länder zu blocken

This entry was posted on Dienstag, Juni 5th, 2007 at 9:48 am and is filed under Weiterentwicklung. You can follow any responses to this entry through the RSS 2.0 feed. You can leave a response, or trackback from your own site.