Crawler bzw. Webcrawler (auch Robots oder Spider genannt) sind Programme, die im Auftrag einer Suchmaschine eigenständig das Internet auf Inhalte von Webseiten durchsuchen und analysieren.
Die von den Crawlern gefundenen Webinhalte werden nach der Analyse in die Datenbank und somit den Suchmaschinen-Index aufgenommen, bewertet und bei relevanten Suchbegriffen in den Suchergebnissen angezeigt.
Nach der Aufnahme einer Webseite wird diese von den Crawlern in regelmäßigen Abständen erneut aufgesucht und auf Änderungen hin überprüft. Wie oft eine einzelne Webseite von Robots gespidert wird, hängt von ihrer Stärke ab (siehe Google-PageRank).
Wer von seinem Provider Logfiles zur Verfügung gestellt bekommt, kann dort auslesen, wie oft die Crawler der verschiedenen Suchmaschinen auf der eigenen Website vorbei kommen. Dabei bedienen sich die Suchmaschinenbetreiber unterschiedlicher Techniken: während Robots von MSN und Yahoo in der Regel sehr oft aktualisieren und somit viel Traffic erzeugen, benutzt Google seit einiger Zeit ein intelligentes Crawling-Verfahren, welches den Datentransfer stark reduziert.
Zurück zu unserem Lexikon der Suchmaschinenoptimierung.
