Hallo zusammen,
erstmal ein fettes Lob an die Entwickler. Mir gefallen die Scripte sehr gut, und es funktioniert fast einwandfrei.
Ich versuche gerade den Cronjob zu erstellen um die IP's automatisch aus der .htaccess Datei rauszuschmeissen.
Bewerkstelligen will ich dieses mit :
php /Pfad zu Spider/cronjob.php

Doch dann kommt folgende Fehlermeldung

Warning: file(files/blacklist.txt): failed to open stream: No such file or directory in /Pfad zur Webseite/spider/spider-trap/functions.php on line 588

Warning: Invalid argument supplied for foreach() in /Pfad zur Webseite/spider/spider-trap/functions.php on line 589

Warning: file_put_contents(files/blacklist.txt): failed to open stream: No such file or directory in /Pfad zur Webseite/spider/spider-trap/functions.php on line 600

Bei mir läuft Suse Linux mit PHP 5.

Oder habe ich den falschen Weg eingeschlagen?

Gruß
Ingo

Hallo,

in diesem Zusammenhang würde mich auch interessieren, warum man denn die mühsam gesammelten IPs wieder alle löschen soll, wie dies das cronjob Script macht?
Damit ist doch den schon einmal als böse eingestuften Spidern wieder Tür und Tor geöffnet. Sie können Inhalte auslesen, so lange sie nicht erneut in die Falle tappen.
Oder hab' ich da was am Prinzip von spider-trap missverstanden?

» Hallo,
»
» in diesem Zusammenhang würde mich auch interessieren, warum man denn die
» mühsam gesammelten IPs wieder alle löschen soll, wie dies das
» cronjob Script macht?
» Damit ist doch den schon einmal als böse eingestuften Spidern wieder Tür
» und Tor geöffnet. Sie können Inhalte auslesen, so lange sie nicht erneut in
» die Falle tappen.
» Oder hab' ich da was am Prinzip von spider-trap missverstanden?

Hi,

Das ist relativ einfach.

Denn wenn ein normale Nutzer mit Black Widow oder ähnlichen Bots die Bilder runterladen will, hat er ja für seine Onlinesession eine gültige IP. Nun geht diese Nutzer offline und der nächste mit der gleichen IP landet rein zufällig auf meiner Seite und findet keine Webseite vor, sondern eben den Captcha Code. Daher wollte ich eben die IP's nach ca. 4 Stunden wieder freigeben

Gruß
Ingo

Hallo,

die cronjob.php löscht nicht nur die IP in der .htaccess, sondern löscht auch die Blacklist.
Auf die Gefahr, dass ich mich wiederhole:
damit ist die ganze Mühe mit der aufgestellten Falle umsonst.

also ist schon so gedacht dass die Sperren aufgehoben werden nach z.B. einem Tag. Es geht dabei um dynamische IPs. Angenommen ich hätte einen T-Online Anschluss und löse durch ein Download Programm eine Sperre aus, würde der nächste T-Online User der irgendwann die IP zugeordnet bekommt auch die Sperre bekommen. Und das soll man ja mit dem Cronjob Einsatz verhindern.

Bots die einmal in die Falle gegangen sind werden es wieder tun, deswegen ist es nicht schlimm diese mit raus zu löschen.

Den Einsatz des Cronjobs ist ja nur ein Feature dass bei manchen Seiten einfach Sinn macht. Bei vielen anderen Seiten braucht man es nicht.

Aber ich kenne halte eine Malvorlagen Domain die dauernd angezapft wird und per Script 1:1 kopiert wird mit verschiedenen T-Online Ips usw - für solche Fälle hab ich das damals programmiert.

Suche noch Programmierer für das Spider Trap Team, die mir helfen die Software weiterzuentwickeln.

» Bots die einmal in die Falle gegangen sind werden es wieder tun, deswegen
» ist es nicht schlimm diese mit raus zu löschen.

Aber möglicherweise vorher noch allerlei Unfug anrichten. Die Falle muss ja nicht unbedingt der erste Link sein, den der Spider besucht, auch wenn er auf der Seite an erster Stelle steht.

Aber ich habe noch mehr Verständnisfragen:
Wäre es für den Fall dynamischer IPs nicht sinnvoll, nur die IP in der .htaccess zu löschen? Die Blacklist sollte doch in so einem Fall ausreichen, um den Spider auszusperren?
Die cronjob.php löscht ja sowohl die IPs in der .htaccess, als auch die komplette Blacklist.
Und was passiert, wenn ich manuell so vorgehe, also IP aus der .htaccess raus, aber Eintrag in der Blacklist belassen? Macht das Sinn?

» Aber möglicherweise vorher noch allerlei Unfug anrichten. Die Falle muss
» ja nicht unbedingt der erste Link sein, den der Spider besucht, auch wenn
» er auf der Seite an erster Stelle steht.

das kann man leider bei dynamischen IPs nicht verhindern.

» Aber ich habe noch mehr Verständnisfragen:
» Wäre es für den Fall dynamischer IPs nicht sinnvoll, nur die IP in der
» .htaccess zu löschen? Die Blacklist sollte doch in so einem Fall
» ausreichen, um den Spider auszusperren?
» Die cronjob.php löscht ja sowohl die IPs in der .htaccess, als auch die
» komplette Blacklist.
» Und was passiert, wenn ich manuell so vorgehe, also IP aus der .htaccess
» raus, aber Eintrag in der Blacklist belassen? Macht das Sinn?

Die Blacklist ist für User gedacht die keinen Zugriff auf die htaccess haben.
Mit der Funktion isBlacklisted kriegt man raus ob eine IP gesperrt ist.

Die cronjob.php ist eh noch nicht ausgereift.

Aber leider hat sich in der Richtung auch garnichts ergeben.
http://www.spider-trap.de/blog/entwickler-team/

Suche noch Programmierer für das Spider Trap Team, die mir helfen die Software weiterzuentwickeln.