Jeder Webmaster möchte gerne viele Besucher auf seiner Website haben, und ist deshalb froh über Suchmaschinen gefunden zu werden.

Suchmaschinen setzen sog. Webspider, Crawler bzw. Robots ein um Ihren Datenbestand zu erweitern und möglichst aktuell zu halten. Diese Webspider durchsuchen dabei das Internet und folgen den internen und externen Verweisen (Links) auf den Seiten. So werden alle Seiten im Internet auf die per Link hingewiesen wird gespidert und in den Suchmaschinenindex aufgenommen.

Es gibt aber auch Daten die nicht in den Suchmaschinen aufgenommen werden sollen. wie z.B.

• unfertigen Seiten
• technische Seiten (cgi-bin Verzeichnisse, Logfiles)
• Datenschutzrechtliche Daten
• Installationsverzeichnisse, Konfigurationsdateien usw.
   

Um die Indexierung von solchen Daten zu verhindern, wurde ein Standard vereinbart (Robots-Exclusion Protokoll) der das Ausschließen von Seiten bei Suchmaschinen ermöglichen soll. Man benutzt dazu eine Datei Namens "robots.txt" in der man die Seiten angibt die nicht gespidert werden sollen. An diesen Standard halten sich die meisten großen Suchmaschinen darunter Google, MSN und Yahoo und haben ihre Webcrawler dahingehend programmiert..

Spider werden nicht nur von Suchmaschinen eingesetzt um einen Suchindex zu erstellen, sondern auch um Daten zu sammeln. Oft zielen diese auf folgendes ab.

• Auslesen der mailto:-Addressen auf der Website um Spam Mails zu generieren
• Diebstahl von Bildern (Mister Pix usw)
• "Grabben" von Inhalt (Content Klau)
• Spider die nach Markenrechtlichen Verstössen suchen. (Wichtig z.B. bei Foren)
• Spamattacken auf den Server durch eine Vielzahl von Abruf
   

Diese eingesetzten Spider werden als "böse bots" bezeichnet. "Spider-Trap" versucht genau solchen Bösen Bots das Wasser abzugraben und diese aus der Seite auszuschließen bzw. den Zugriff zu verweigern. Das Script ist auf dieser Seite im Einsatz und kann natürlich von Ihnen ausprobiert werden. Oben links sehen Sie eine Spinne in einem Verbotszeichen. Wenn Sie nun auf diesen Link klicken werden alle Zugriffe von Ihnen auf diese Seite verhindert. Ein 100% Schutz kann leider nicht gewährleistet werden, aber viele Spambots sollten damit vertrieben werden.

Die Software ist kostenlos und kann unter Download heruntergeladen werden. Unter Funktionsweise steht eine Anleitung wie das technisch abläuft. Installationshilfe, Support und Weiterentwicklung gibt es im Forum und kann dort diskutiert werden.

Wer dieses Tool schätzt, kann gerne einen Link auf diese Seite setzen. Ich würde mich sehr darüber freuen.

Gruß

das Spider-Trap Team