Wie Yahoo vermeldet 
, haben sie vor kurzem begonnen eine neue Crawler-Version zu implementieren, die nun nach und nach den alten Robot ablösen soll. Der neue Bot weist sich einem Server als “Yahoo! Slurp/3.0″ aus.
Was hat das für Auswirkungen?
Wer in seiner Robots.txt-Datei diverse Einträge für den Yahoo-Slurp-Crawler stehen hat, der kann diese auch so belassen, denn der neue Bot wird sich ebenfalls an diese Einträge halten.
Hat aber jemand den Yahoo-Bot ausgesperrt, weil er damit Bandbreite und Serverressourcen sparen wollte, dann könnte es durchaus wieder Sinn machen, die Einträge aus der robots.txt zu entfernen. Die alte Version des Crawlers war zwar ein Trafficmonster (siehe dazu auch Johannes’ Beitrag ), die neue soll diese Fehler aber nicht mehr haben und deutlich performanter und ressourcenschonender sein. Erste Beobachtungen von Sistrix scheinen das auch zu bestätigen.
Darüber hinaus werden sich auch die IP-Bereiche ändern, von denen aus Yahoo die Crawlvorgänge durchführt. Seitenbetreiber, die beispielsweise Cloaking auf IP-Basis betreiben, müssen daher acht geben, und auf die neuen Bereiche umstellen bzw. eine DNS-/ReverseDNS-Abfrage zur Verifizierung des Yahoo-Bots durchführen.
