Yahoo vermeldet 

Was hat das für Auswirkungen?

Wer in seiner Robots.txt-Datei diverse Einträge für den Yahoo-Slurp-Crawler stehen hat, der kann diese auch so belassen, denn der neue Bot wird sich ebenfalls an diese Einträge halten.

Hat aber jemand den Yahoo-Bot ausgesperrt, weil er damit Bandbreite und Serverressourcen sparen wollte, dann könnte es durchaus wieder Sinn machen, die Einträge aus der robots.txt zu entfernen. Die alte Version des Crawlers war zwar ein Trafficmonster (siehe dazu auch Johannes’ Beitrag ), die neue soll diese Fehler aber nicht mehr haben und deutlich performanter und ressourcenschonender sein. Erste Beobachtungen von Sistrix  scheinen das auch zu bestätigen.

Darüber hinaus werden sich auch die IP-Bereiche ändern, von denen aus Yahoo die Crawlvorgänge durchführt. Seitenbetreiber, die beispielsweise Cloaking auf IP-Basis betreiben, müssen daher acht geben, und auf die neuen Bereiche umstellen bzw. eine DNS-/ReverseDNS-Abfrage zur Verifizierung des Yahoo-Bots durchführen.

Google Webmaster Central Blog zu lesen 

Bekommt der Crawler von Google dann eine valide Seite geliefert, die zudem noch Inhalte enthält, die bisher noch nicht im Google-Index zu finden sind, dann wird diese Seite neu in den Index aufgenommen.

Wer sich jetzt allerdings schon freut und auf viele Millionen Seiten im Index hofft, der muss enttäuscht werden, denn diese Tests beschränken sich in erster Linie auf wenige hundert wirklich wichtige Internetseiten und nicht auf jede einzelne Website mit Formular. Auch ist nicht davon auszugehen, dass Google sich damit eine Menge doppelte Inhalte in den Index holt bzw. holen will und auch nicht, dass man -wie von Sistrix angesprochen - Suchergebnisseiten in den Suchergebnissen präsentieren will, sondern eher, dass man individuelle Inhalte, die eben ausschließlich über Formulare erreichbar sind, ebenfalls erfassen will.

Ob ein solches Feature irgendwann einmal auf die breite Masse losgelassen wird, das werden wir sehen. Bis dahin dürfte es aber noch ein wenig dauern.