Spider Trap Download

Wichtigstes neues Feature ist die Mehrsprachigkeit. Momentan ist zwar nur Deutsch und Englisch implementiert aber durch die Strukturänderung können auch andere Sprachen leicht hinzugefügt werden. Ich würde mich freuen wenn mir jemand dabei helfen könnte die language Files in die anderen Sprachen zu übersetzen.
Interessant wären vorallem Italienisch, Französisch, Spanisch, Portugiesisch, Russisch, Polnisch, Schwedisch usw.

Desweiteren ist bei dem einem oder anderem der Googlebot in die Falle getappt. Ich habe hier zwar knapp 3000 Bad Bot IP Meldungen und knapp 1000 durchgearbeitet aber nie war ein Googlebot dabei der auch Google zuzuordnen wäre.
Aber um dem einfach vorzubeugen habe ich einen Googlebot RDNS Check eingebaut mit dem geprüft wird ob die IP zu Google gehört.
So wie es hier beschrieben steht.
http://googlewebmastercentral.blogspot.com/2006/09/how-to-verify-googlebot.html
Diesen Check läuft vor der Sperrung der IPs ab, sprich Spider Trap sperrt den Googlebot nicht aus, auch wenn er in die Falle gegangen ist.
Daher ist eine Nennung des Googlebots in der Whitelist nicht mehr notwenig und sollte daher auch entfernt werden um die Fakes einzufangen.

Neu in der Version 1.1 ist auch die Unterstützung von IP Ranges in der Black- und Whitelist.
Viele Nutzer nutzen ja die Spider Trap als Anti Spam API und stellen ja keine Falle im eigentlichen Sinne auf, sondern nutzen die Funktionen der “functions.php” um die Funktionalität der Sperren damit zu realisieren.
Hierzu includieren Sie die /spider-trap/forbid.php in den Header Bereich ihres CMS oder an einer anderen Stelle die bei jedem Seitenzugriff aufgerufen wird. Dann definieren Sie z.B. bekannte Bad Bots und IP Adressen in der Blacklist.txt oder User Agents in der user_agents.txt.
Über die forbid.php wird die functions.php includiert, in der ja mit den Functions is_blacklisted, is_whitelisted und add_blacklist Werkzeuge zur Verfügung stehen, um Sperren einzurichten und zu prüfen.
Dieses Feature der IP Ranges ist vorallem für solche Nutzer gedacht und es entsteht dadurch die Möglichkeit ganze Länder auszusperren. Idee dazu hab ich mir von Johannes geklaut
laender-via-htaccess-sperren

Hier die neuen Funktionen im Überblick.

Version 1.1 - 05.06.2007
- Mehrsprachigkeit ( momentan nur Deutsch und Englisch)
- Fehlerbehebungen (Password, Captcha)
- Install Script verbessert
- IP in der Whitelist zulässig
- Googlebot RDNS Check (zur Erkennung von Googlebot Fakes)
- IP Ranges in der Whitelist / Blacklist um z.B. ganze Länder zu blocken

Bevor ich aber die neue Version der Spinne auf die Menschheit loslasse bräuchte ich noch ein paar freiwillige die das Tool ein bisschen antesten können.

Wenn ihr mir helfen könnt - bitte einfach kurz ne Email an info@spider-trap.de

Ich nenn es jetzt einfach mal SEO Bookmarks

Nachdem wir SEOs ja in Yigg nicht ganz so beliebt sind und dort oft Artikel recht schnell fliegen hat Mario einen eigenen DIGG Clone aufgemacht der sich nur um das Thema SEO handelt. Ich hab mich zwar schon an Bloglines gewöhnt finde aber das Layout und die Features bei SEOigg richtig nett gemacht. Werde da wohl jetzt die nächste Zeit öfter mal vorbeischauen.

Hier geht es zum Artikel:
Google Ranking-faktoren

Super geile Arbeit, aber das kennt man ja von Johannes !

- komplett auf Templates umgebaut (403 Seite bzw. Admin Interface)
- Installations Script
- neues Log Format
- vorbereitet auf Cronjob - um Einträge z.B. alle 4 Stunden wieder freizuschalten.
- verbessertes Captcha
- div. Fehlerbeseitigungen
- Files liegen alle in einem Ordner der den Zugriff auf *.txt verbietet
- Admin Interface
- Beachtung von User Agents
- Bei den Emails wird gleich ein Link zu den Whois Daten mitgeschickt
- Auch IPs in der Whitelist

Desweiteren kann man die Spider Trap auch als Libary benutzen indem man einfach die functions.php per include einbindet und die methoden darin abfrägt. isBlacklistet() gibt z.B. true zurück wenn die IP oder User Agent auf der Blacklist steht.

Dies könnte man also z.B. in seinen Header einbauen und umgeht so die Notwendigkeit einer htaccess Lösung. Geht natürlich auf Kosten der Performance aber so können nun auch viele die Spider Trap ohne Htaccess einbinden bzw leichter in ihre Software XTCommerce, Wordpress usw integrieren.

Feedback und Bugs bitte im Forum diskutieren.

kostenlos downloaden kann man das ganze hier:
Spider Trap Download

Gruß Thomas

Nachdem ja disallow.de leider tot ist, find ich es toll dass es wieder einen Mitstreiter mehr gibt.
Auf der Seite steht eigentlich alles was zum Thema gehört z.B. wie man rausfindet ob jemand Content geklaut hat und welcher Tools es dazu gibt.

Ab 18 oder 19 Januar sollte dann auch die neue Version der Spider Trap verfügbar sein. Die neuen Funktionen usw führe ich dann noch mal einzeln auf….

Dies kann man nun ganz einfach so lösen:

Disallow: /*?sessionid


Als Wildcard Characters werden nun *, ? und $ unterstützt.