hi,
ich wollte die naechsten tage mal den spider-trap bei mir draufpacken.
bisher bin ich lediglich mit ner robots.txt unterwegs, die aehnlich aussieht wie die von abakus.
ich faends ganz hilfreich, wenn hier auch ne beispielhafte robots zu sehen waere, die z.B. den ganzen hyro und adfire-kram raushalten wuerde.
gruss
peter