Indexierung

Allen Nachrichten, die wir auf unserer Website einstellen, werden bestimmte Schlüsselwörter zugeordnet, nach denen dann explizit gesucht werden kann. Ihnen werden nun in dieser Übersicht alle News angezeigt, die von uns mit dem Suchbegriff Indexierung versehen wurden.

Yahoo mit neuem Crawler – Slurp/3.0

(15.04.2008) Wie Yahoo vermeldet , haben sie vor kurzem begonnen eine neue Crawler-Version zu implementieren, die nun nach und nach den alten Robot ablösen soll. Der neue Bot weist sich einem Server als “Yahoo! Slurp/3.0″ aus. Was hat das für Auswirkungen? Wer in seiner Robots.txt-Datei diverse Einträge für den Yahoo-Slurp-Crawler stehen hat, der kann diese auch so [...] [ weiterlesen ]