Wie Google-Mitarbeiter Matt Cutts in seinem Weblog berichtet 
, benutzt Google seit kurzem ein neues Crawling-Verfahren, welches die Bandbreite der Webmaster und die von Google schonen soll.
Dabei handelt es sich um zwei Features, die den Datendurchsatz verringern sollen:
Zum einen unterstützt der neue GoogleBot namens “Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)” im Gegensatz zu seinem allseits bekannten Vorgänger mit Namen “Googlebot/2.1 (+http://www.google.com/bot.html)” das GZIP-Encoding, welches -falls es vom Webserver angeboten wird- es erlaubt, Webseiten komprimiert an den Empfänger zu übertragen und somit den Traffic gering zu halten.
Zum anderen kommt ein neuer Crawling Caching Proxy zum Einsatz, der die Aufrufe der Suchmaschinen-Robots zwischenspeichert. Da die verschiedenen Google-Dienste, wie z.B. Adsense, Blog-Search, News, Web, etc. alle eigene Roboter aussenden, addierte sich bisher immer die Anzahl der Aufrufe auf der zu crawlenden Website. Jetzt reicht es aus, wenn nur einer der Webcrawler eine Seite indexiert, alle anderen greifen dann auf den Datensatz zurück, den der erste Crawler geliefert bekommen hat.
Diese Meldung erklärt auch, warum - wie einigen Fach-Foren diskutiert - in letzter Zeit die Anzahl der Besuche des für die Websuche zuständigen Googlebots zurückgegangen ist, aber die Seiten dennoch aktuell in den Suchergebnissen waren.
