Crawler

Allen Nachrichten, die wir auf unserer Website einstellen, werden bestimmte Schlüsselwörter zugeordnet, nach denen dann explizit gesucht werden kann. Ihnen werden nun in dieser Übersicht alle News angezeigt, die von uns mit dem Suchbegriff Crawler versehen wurden.

Yahoo mit neuem Crawler - Slurp/3.0

(15.04.2008) Wie Yahoo vermeldet , haben sie vor kurzem begonnen eine neue Crawler-Version zu implementieren, die nun nach und nach den alten Robot ablösen soll. Der neue Bot weist sich einem Server als “Yahoo! Slurp/3.0″ aus. Was hat das für Auswirkungen? Wer in seiner Robots.txt-Datei diverse Einträge für den Yahoo-Slurp-Crawler stehen hat, der kann diese auch so belassen, denn [...] [ weiterlesen ]

GoogleBot füllt Formulare selbständig aus

(14.04.2008) Wie im Google Webmaster Central Blog zu lesen  ist, testet Google schon bereits seit ein paar Monaten das Spidern von Seiten, die sich hinter einem HTML-Formular verstecken. Dabei versucht der Googlebot herauszufinden, was der Besucher der jeweiligen Website auf der das Formular eingebaut ist, denn dort als Suchbegriff eingeben könnte und füllt das Formular dementsprechend [...] [ weiterlesen ]