Archive for Februar, 2006

Robots.txt Checker

Montag, Februar 27th, 2006

Wieder mal was für eure Bookmarks: Unter
http://www.m-software.de/item.php?i=21
findet ihr ein robots.txt Check tool das die Richtigkeite der Robots überprüft.
Ansonsten sind auch schon einige Badbots ausgelistet

Posted in Weiterentwicklung | No Comments »

Google Robots.txt Tool

Donnerstag, Februar 9th, 2006

Wie auch in den Google Richtlinien beschrieben hält sich der Googlebot an die Robots.txt. Dies wurde ja schon öfter in verschiedenen Foren diskutiert. Jetzt kommt langsam mehr Licht ins Dunkel. da Google selber ein neues robots.txt Analyse Tool gestartet hat.
Hier noch ein Auszug von Gerald

Nette Sache, damit kann man endlich verlässliche […]

Posted in Sonstiges | No Comments »