Spider Trap Blog

Hier mal nach langer Zeit wieder was Neues.
Neben Google unterstützt nun auch Yahoo eine Wildcardangabe in der Robots.txt. Dies ist sehr nützlich - gerade beim Vermeiden von Session IDs in den Suchergebenissen.

Dies kann man nun ganz einfach so lösen:

Disallow: /*?sessionid


Als Wildcard Characters werden nun *, ? und $ unterstützt.

This entry was posted on Sonntag, November 5th, 2006 at 10:25 am and is filed under Sonstiges. You can follow any responses to this entry through the RSS 2.0 feed. Responses are currently closed, but you can trackback from your own site.