Google Webmaster-Tools 

Google Webmaster Central Blog 

Dazu stehen drei Geschwindigkeiten zur Verfügung: langsam, normal und schnell.

Wer also eine Website hat, die täglich über viele neue und nützliche Inhalte verfügt, kann für die nächsten 90 Tage bestimmen, dass der Crawler von Google bei jedem seiner Besucher mehr Seiten inspiziert als er es normalerweise machen würde.

Ändert sich auf der eigenen Seite nur selten etwas, so kann man ruhigen Gewissens auf “langsam” umstellen. Das spart Bandbreite sowohl für den eigenen Server als auch für die Server von Google.

berichtet 

Dabei handelt es sich um zwei Features, die den Datendurchsatz verringern sollen:

Zum einen unterstützt der neue GoogleBot namens “Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)” im Gegensatz zu seinem allseits bekannten Vorgänger mit Namen “Googlebot/2.1 (+http://www.google.com/bot.html)” das GZIP-Encoding, welches -falls es vom Webserver angeboten wird- es erlaubt, Webseiten komprimiert an den Empfänger zu übertragen und somit den Traffic gering zu halten.

Zum anderen kommt ein neuer Crawling Caching Proxy zum Einsatz, der die Aufrufe der Suchmaschinen-Robots zwischenspeichert. Da die verschiedenen Google-Dienste, wie z.B. Adsense, Blog-Search, News, Web, etc. alle eigene Roboter aussenden, addierte sich bisher immer die Anzahl der Aufrufe auf der zu crawlenden Website. Jetzt reicht es aus, wenn nur einer der Webcrawler eine Seite indexiert, alle anderen greifen dann auf den Datensatz zurück, den der erste Crawler geliefert bekommen hat.

Diese Meldung erklärt auch, warum – wie einigen Fach-Foren diskutiert – in letzter Zeit die Anzahl der Besuche des für die Websuche zuständigen Googlebots zurückgegangen ist, aber die Seiten dennoch aktuell in den Suchergebnissen waren.