Archive for November, 2006

Wildcards in Robots.txt

Sonntag, November 5th, 2006

Hier mal nach langer Zeit wieder was Neues.
Neben Google unterstützt nun auch Yahoo eine Wildcardangabe in der Robots.txt. Dies ist sehr nützlich - gerade beim Vermeiden von Session IDs in den Suchergebenissen.
Dies kann man nun ganz einfach so lösen:

Disallow: /*?sessionid

Als Wildcard Characters werden nun *, ? und $ unterstützt.

Posted in Sonstiges | No Comments »