zurück zum Allgemeines | Seiten

chris(R)

15.03.2006, 19:16
 

immer wieder google (Allgemeines)

Hallo,

habe das script im Einsatz, gute Sache, nur wird
immer wieder google gesperrt.
Bsp:
Neuer Spambot: /spider-trap/index.php 2006-03-15 (Wed) 13:44:27
IP: 64.233.178.136
User-Agent: UP.Browser/6.1.0.1.140 (Google CHTML Proxy/1.0)

in der whitelist steht googlebot

lg
chris

JR-EWING(R)

16.03.2006, 23:16

immer wieder google


chris(R)

16.03.2006, 23:43

immer wieder google

Quix0r(R)

Homepage

Uetersen,
23.03.2006, 14:32

immer wieder google

Google hat bei mir sogar - woher der das weiss, keine Ahnung! - die /blacklist.txt und /whitelist.txt aufgerufen und hat somit sich selber ausgesperrt. :(

Ich habe das dann per .htaccess gemacht:

<IfModule mod_rewrite.c>
RewriteEngine on

# Wir moegen keine Spione! ;-)
RewriteCond %{HTTP_USER_AGENT} !^Googlebot$
RewriteRule ^(black|white)list.txt$ spider-trap/index.php [L]
# Google von der Falle fernhalten
RewriteCond %{HTTP_USER_AGENT} ^Googlebot$
RewriteRule ^(black|white)list.txt$ - [F]
</IfModule>


Das bedeuetet soviel: (Beispiel)

- Google-Bot hat /backlist.txt aufgerufen? -> "Normales" Access Forbidden
- Anderfalls in die Falle umleiten.

Das [L] verhindert das weitere Suchen nach Regeln, sobald die obere gegriffen hat.

Zudem habe ich folgendes in die robots.txt getan:

User-agent: *
Disallow: /spider-trap

User-agent: Googlebot
Disallow: /spider-trap

User-agent: *
Disallow: /blacklist.txt

User-agent: Googlebot
Disallow: /blacklist.txt

User-agent: *
Disallow: /whitelist.txt

User-agent: Googlebot
Disallow: /whitelist.txt


Hoffe, dass dir das weiterhilft?

MfG,
Roland

charokee(R)

30.08.2006, 19:47

immer wieder google

JR-EWING(R)

31.08.2006, 15:46

immer wieder google


charokee(R)

02.09.2006, 17:07

immer wieder google

TorstenMo(R)

01.09.2007, 12:16

immer wieder google

JR-EWING(R)

01.09.2007, 12:55

immer wieder google

Das war schon ein alter Thread, auf Stand der Spider Trap V0.92

In der 1.1 ist ein RDNS Check drin um Google nie auszusperren.

Melde einfach mal die Seite bei den WebmasterTools an, daran sieht man ob Google auf die Seite zugreifen kann oder nicht.

Mir ist das neulich auf einer Seite auch passiert ohne Spider Trap. Bei mir hatte Google Probleme mit dem DNS Lookup meiner Seite.


TorstenMo(R)

01.09.2007, 13:23

immer wieder google

JR-EWING(R)

01.09.2007, 14:04

immer wieder google



Ähnliche Beiträge
Thema Author Antworten Letzter Beitrag
blacklist ist immer noch leerJR-EWING004.12.2006, 09:47
Spamboot schaltet sich anscheinend wieder freiEschy5406.01.2007, 21:17
Google ausgesperrtholgi1331.05.2007, 19:03
google tappt in die falle?YuryR421.11.2007, 13:08
Weshalb ich die Spider-Trap wieder ausgebaut habeHobby-SEO222.12.2008, 09:23



zurück zum Allgemeines | Seiten