Sperrt das System Google aus?

(compatible; Googlebot/2.1; +http://www.google.com/bot.html)|66.249.65.14
Checking access for 85.13.131.58... ok.
Final results obtained from whois.arin.net.
Results:

OrgName: Google Inc.
OrgID: GOGL
Address: 1600 Amphitheatre Parkway
City: Mountain View
StateProv: CA
PostalCode: 94043
Country: US

NetRange: 66.249.64.0 - 66.249.95.255
CIDR: 66.249.64.0/19
NetName: GOOGLE
NetHandle: NET-66-249-64-0-1
Parent: NET-66-0-0-0-0
NetType: Direct Allocation
NameServer: NS1.GOOGLE.COM
NameServer: NS2.GOOGLE.COM


Ich hoffe doch das hier auch mal jemand antwortet

» Sperrt das System Google aus?
»
» (compatible; Googlebot/2.1; +http://www.google.com/bot.html)|

Nein Google wird nicht ausgesperrt. Sonst wäre diese Seite auch nicht mehr im Index !

» Ich hoffe doch das hier auch mal jemand antwortet
versteh ich nicht ? Wenn du woanders Fragen dazu postest - woher soll ich das wissen.

Suche noch Programmierer für das Spider Trap Team, die mir helfen die Software weiterzuentwickeln.

» » Sperrt das System Google aus?
» »
» » (compatible; Googlebot/2.1; +http://www.google.com/bot.html)|
»
» Nein Google wird nicht ausgesperrt. Sonst wäre diese Seite auch nicht mehr
» im Index !
»
» » Ich hoffe doch das hier auch mal jemand antwortet
» versteh ich nicht ? Wenn du woanders Fragen dazu postest - woher soll ich
» das wissen.

Sorry - ich meinte das nur weil ich das erste Posting schon gestern Morgen geschrieben hatte
Sag mal warum wird der Googlebot in der Black List denn eingetragen. Ganz wohl ist mir dabei nicht! Könnte man ihn nicht in der white List eintragen um so einen gau zu verhindern!
Die white List ist zu dem noch total leer! Alles wird in die black List eintragen !?

Disallow bedeutet in der robots.txt soviel wie verboten/nicht erlaubt. Das Gegenteil wäre Allow.

Wichtig ist in der robots.txt, das nur der erste Buchstabe grossgeschrieben ist. Weitere Infos zur robots.txt gibts hier
http://www.bjoernsworld.de/suchmaschinen/robots-txt.html

robots.txt Generator
http://www.searchcode.de/robotstxt.php

Und nein, ich würde Google nicht in die Whiteliste setzen. Wenn Google sich an die Robots.txt hält, kommt Google auch nicht auf die Blackliste.

Bei mir ist Google den ganzen Tag unterwegs und Google hat sich noch nicht ausgesperrt.

Greetz Hollii (aka H75)

Hi Leute,
da kann einfach irgendetwas nicht stimmen! Seit dem ich spider-trap laufen habe ist nichts mehr von Google bei mir zu sehen - außerdem landet das immer sofort auf der Black List!
Ich habe Spider Trap heute morgen deaktiviert und sofort war Goolge wieder da:
66.249.65.14

Sorry aber ich habe irgendwie das Gefühl das da irgendetwas nicht stimmt!

sorry dann hast du was falsch installiert. Die akutelle Version ist ja auch hier auf spider-trap.de und die ist ja noch im Index.

Suche noch Programmierer für das Spider Trap Team, die mir helfen die Software weiterzuentwickeln.

» sorry dann hast du was falsch installiert. Die akutelle Version ist ja auch
» hier auf spider-trap.de und die ist ja noch im Index.

hallo,
ich habe doch alles hier geladen! Wass könnte da denn schief gegangen sein?

hast du die robots.txt auch angepasst ?

User-agent: *
Disallow: /spider-trap

User-agent: googlebot
Disallow: /spider-trap

Suche noch Programmierer für das Spider Trap Team, die mir helfen die Software weiterzuentwickeln.

Ich habe das gleiche Problem:

crawl-66-249-72-65.googlebot.com wurde auf die Blacklist gesetzt mit der IP 66.249.72.65


Zusätzlich sagt Google SiteMaps:

Aufgrund eines HTTP-Fehlers (403) können wir momentan nicht auf Ihre Startseite zugreifen.


robots.txt sieht so aus:

User-agent:*
Disallow: /*.gif$
Disallow: /*.jpg$
Disallow: /bilder/

User-agent: googlebot
Disallow: /bilder/


Kann ich bei Google noch mal explizit die neue robots.txt einpflegen?

In der neuen Version - wahrscheinlich am Montag - wird es die Option geben auch IPs in die Whitelist zu nehmen.
Damit kann man die gesamten Google IPs dann mit in die Whitelist nehmen.

Ich habe jetzt leider schon den zweiten Fall gehört dass eine Google IP gebant wurde.

Ich habe hier mittlerweile 3000 Meldungen von IPs und keine gehört Google und die Domain Spider-trap.de, auf der ja die Demo auch ist, ist auch noch im Index und hatte noch nie Probleme damit.

Daher versteh ich das nicht. Kann es sein dass Google die Sitemap nicht lesen konnte. Server kurz down ?

Gruß Thomas

Suche noch Programmierer für das Spider Trap Team, die mir helfen die Software weiterzuentwickeln.

So Google hat den "403-Fehler" entfernt und auch die robots.txt neu gespidert. Daher werde ich die Spider-trap wieder aktivieren und mal hoffen, dass Google nicht wieder selbst rein läuft