Entwickler Team

September 1st, 2007

Da die Anzahl der Webmaster die Spider Trap einsetzen stetig wächst, kommen auch viele neue Ideen für Weiterentwicklungen. Da meine bisherigen Helfer und ich leider momentan sehr viel zu tun haben, stockt die Entwicklung momentan.
Da auch vermehrt Anfragen und Wünsche kommen, möchte ich das Developer Team gerne erweitern. Da das Projekt ja Freeware ist und bleibt, kann ich euch aber leider kein Entgeld anbieten.
Wer also gerne mit an der Software helfen möchte, kann sich bei mir unter info @ spider-trap.de melden.
Ich würde mich um Eure Unterstützung freuen !

Spider Trap 1.1

Juni 5th, 2007

Seit heute steht die Version 1.1 der Spider Trap zum Download bereit.

Spider Trap Download

Wichtigstes neues Feature ist die Mehrsprachigkeit. Momentan ist zwar nur Deutsch und Englisch implementiert aber durch die Strukturänderung können auch andere Sprachen leicht hinzugefügt werden. Ich würde mich freuen wenn mir jemand dabei helfen könnte die language Files in die anderen Sprachen zu übersetzen.
Interessant wären vorallem Italienisch, Französisch, Spanisch, Portugiesisch, Russisch, Polnisch, Schwedisch usw.

Desweiteren ist bei dem einem oder anderem der Googlebot in die Falle getappt. Ich habe hier zwar knapp 3000 Bad Bot IP Meldungen und knapp 1000 durchgearbeitet aber nie war ein Googlebot dabei der auch Google zuzuordnen wäre.
Aber um dem einfach vorzubeugen habe ich einen Googlebot RDNS Check eingebaut mit dem geprüft wird ob die IP zu Google gehört.
So wie es hier beschrieben steht.
http://googlewebmastercentral.blogspot.com/2006/09/how-to-verify-googlebot.html
Diesen Check läuft vor der Sperrung der IPs ab, sprich Spider Trap sperrt den Googlebot nicht aus, auch wenn er in die Falle gegangen ist.
Daher ist eine Nennung des Googlebots in der Whitelist nicht mehr notwenig und sollte daher auch entfernt werden um die Fakes einzufangen.

Neu in der Version 1.1 ist auch die Unterstützung von IP Ranges in der Black- und Whitelist.
Viele Nutzer nutzen ja die Spider Trap als Anti Spam API und stellen ja keine Falle im eigentlichen Sinne auf, sondern nutzen die Funktionen der “functions.php” um die Funktionalität der Sperren damit zu realisieren.
Hierzu includieren Sie die /spider-trap/forbid.php in den Header Bereich ihres CMS oder an einer anderen Stelle die bei jedem Seitenzugriff aufgerufen wird. Dann definieren Sie z.B. bekannte Bad Bots und IP Adressen in der Blacklist.txt oder User Agents in der user_agents.txt.
Über die forbid.php wird die functions.php includiert, in der ja mit den Functions is_blacklisted, is_whitelisted und add_blacklist Werkzeuge zur Verfügung stehen, um Sperren einzurichten und zu prüfen.
Dieses Feature der IP Ranges ist vorallem für solche Nutzer gedacht und es entsteht dadurch die Möglichkeit ganze Länder auszusperren. Idee dazu hab ich mir von Johannes geklaut ;-)
laender-via-htaccess-sperren

Hier die neuen Funktionen im Überblick.

Version 1.1 - 05.06.2007
- Mehrsprachigkeit ( momentan nur Deutsch und Englisch)
- Fehlerbehebungen (Password, Captcha)
- Install Script verbessert
- IP in der Whitelist zulässig
- Googlebot RDNS Check (zur Erkennung von Googlebot Fakes)
- IP Ranges in der Whitelist / Blacklist um z.B. ganze Länder zu blocken

Beta Tester gesucht !

Mai 23rd, 2007

Die Entwicklungen an der neue Spider Trap Version 1.1 sind jetzt soweit von mir mal abgeschlossen.
Neue Features usw schreib ich dann wenn die neue Version fertig ist.
Wichtigster neuer Punkt ist aber die Mehrsprachigkeit.

Bevor ich aber die neue Version der Spinne auf die Menschheit loslasse bräuchte ich noch ein paar freiwillige die das Tool ein bisschen antesten können.

Wenn ihr mir helfen könnt - bitte einfach kurz ne Email an info@spider-trap.de

SEOigg

Mai 11th, 2007

Viele wissen ja das ich nicht der großer Blogger bin und deswegen werden sich viele Leute jetzt wundern. Sag mal spinnt der 2 Beiträge an einem Tag. Naja, Anlass dafür ist dass ich für meinen Kumpel Mario die Werbetrommel ein bisschen schürren will, weil ich sein neuerstes Projekt echt gelungen finde.

Ich nenn es jetzt einfach mal SEO Bookmarks

Nachdem wir SEOs ja in Yigg nicht ganz so beliebt sind und dort oft Artikel recht schnell fliegen hat Mario einen eigenen DIGG Clone aufgemacht der sich nur um das Thema SEO handelt. Ich hab mich zwar schon an Bloglines gewöhnt finde aber das Layout und die Features bei SEOigg richtig nett gemacht. Werde da wohl jetzt die nächste Zeit öfter mal vorbeischauen.

Ranking Faktoren

Mai 11th, 2007

Hier hat sich Johannes mal richtig Mühe gemacht und mal einige Ranking Faktoren von Google aufgeschlüsselt. Intuitiv hab ich immer alles richtig gemacht z.B. hab ich nie H1 eingesetzt sondern immer bei H2 angefangen ;-)

Hier geht es zum Artikel:
Google Ranking-faktoren

Super geile Arbeit, aber das kennt man ja von Johannes !

es bewegt sich was….

Mai 2nd, 2007

Was interssantes habe ich gerade bei Uwe gelesen. Dort geht es darum die Relevants eines Artikels durch ausschließen von unwichtigen Passagen zu steigern. Also sowas wie die Robots.txt bloß auf einzelnen Textstellen um z.B. Werbung und Copyright-Texte auszuschliessen.
Dabei wird einfach anhand eines DIV Containers mit einem bestimmten Namen festgelegt dass dieser Bereich unwichtig ist….
bin mal gespannt ob sich das durchsetzt….

Spider Trap V1.0

Januar 22nd, 2007

Das Spider Trap Team bietet ab heute die Version 1.0 von Spider Trap an. Neben einigen kleinen Bugs kamen folgende neuen Features dazu.

- komplett auf Templates umgebaut (403 Seite bzw. Admin Interface)
- Installations Script
- neues Log Format
- vorbereitet auf Cronjob - um Einträge z.B. alle 4 Stunden wieder freizuschalten.
- verbessertes Captcha
- div. Fehlerbeseitigungen
- Files liegen alle in einem Ordner der den Zugriff auf *.txt verbietet
- Admin Interface
- Beachtung von User Agents
- Bei den Emails wird gleich ein Link zu den Whois Daten mitgeschickt
- Auch IPs in der Whitelist

Desweiteren kann man die Spider Trap auch als Libary benutzen indem man einfach die functions.php per include einbindet und die methoden darin abfrägt. isBlacklistet() gibt z.B. true zurück wenn die IP oder User Agent auf der Blacklist steht.

Dies könnte man also z.B. in seinen Header einbauen und umgeht so die Notwendigkeit einer htaccess Lösung. Geht natürlich auf Kosten der Performance aber so können nun auch viele die Spider Trap ohne Htaccess einbinden bzw leichter in ihre Software XTCommerce, Wordpress usw integrieren.

Feedback und Bugs bitte im Forum diskutieren.

kostenlos downloaden kann man das ganze hier:
Spider Trap Download

Gruß Thomas

Neue Seite

Januar 17th, 2007

Heute bin ich mal meine Referer durchgegangen und hab dabei eine sehr interessante Seite gefunden.
contentklau.de
die sich, wie der Name schon sagt, mit Content Diebstahl beschäftigt.

Nachdem ja disallow.de leider tot ist, find ich es toll dass es wieder einen Mitstreiter mehr gibt.
Auf der Seite steht eigentlich alles was zum Thema gehört z.B. wie man rausfindet ob jemand Content geklaut hat und welcher Tools es dazu gibt.

Wartung 16-17.1.2007

Januar 16th, 2007

Ich stelle mein CMS um und daher wird es an manchen Stellen vielleicht noch Fehler geben.

Ab 18 oder 19 Januar sollte dann auch die neue Version der Spider Trap verfügbar sein. Die neuen Funktionen usw führe ich dann noch mal einzeln auf….

Wildcards in Robots.txt

November 5th, 2006

Hier mal nach langer Zeit wieder was Neues.
Neben Google unterstützt nun auch Yahoo eine Wildcardangabe in der Robots.txt. Dies ist sehr nützlich - gerade beim Vermeiden von Session IDs in den Suchergebenissen.

Dies kann man nun ganz einfach so lösen:

Disallow: /*?sessionid

Als Wildcard Characters werden nun *, ? und $ unterstützt.