Google Robots.txt Tool
Wie auch in den Google Richtlinien beschrieben hält sich der Googlebot an die Robots.txt. Dies wurde ja schon öfter in verschiedenen Foren diskutiert. Jetzt kommt langsam mehr Licht ins Dunkel. da Google selber ein neues robots.txt Analyse Tool gestartet hat.
Hier noch ein Auszug von Gerald
Nette Sache, damit kann man endlich verlässliche Aussagen zu Googles Auslegung der Robots-Regeln bekommen. Denn bislang wurde oft mehr spekuliert als belegt, ab jetzt sollte es in der Hinsicht einfacher werden. Selbstverständlich sind viele Dinge nämlich nicht, auch Google hält sich nicht nur an den Quasi-Standard des Robots Exclusion Protocols, sondern nutzt eiige Erweiterungen wie Allow oder Wildcards
Gefunden bei: Suchmaschinen Optimierung Seo Blog
Damit sollten die Zweifel an der Funktionsweise der Spider Trap weiter behoben werden.
