« Google Robots.txt Tool
Wildcards in Robots.txt »

Robots.txt Checker

Wieder mal was für eure Bookmarks: Unter
http://www.m-software.de/item.php?i=21
findet ihr ein robots.txt Check tool das die Richtigkeite der Robots überprüft.
Ansonsten sind auch schon einige Badbots ausgelistet

This entry was posted on Montag, Februar 27th, 2006 at 2:16 pm and is filed under Weiterentwicklung. You can follow any responses to this entry through the RSS 2.0 feed. Responses are currently closed, but you can trackback from your own site.

Comments are closed.

  • Google Robots.txt Tool
  • Wildcards in Robots.txt