Vernetzte Rechner speisen Suchmaschine

Ein Distributed-Computing-Projekt namens "Grub", das freiwillig zur Verfügung gestellte ungenutzte Rechenpower nutzt, hat diese Woche damit begonnen, Millionen von Webseiten zu katalogisieren.

Laut der Homepages des Projekts wurden allein in den letzten 24 Stunden über 60 Millionen Homepages mit Hilfe von 1.100 Rechnern weltweit erfasst.

Grub arbeitet im Hintergrund der Rechner, sucht sich automatisch durch das Web, sammelt Tausende von Seiten pro Stunde und schickt die Informationen an eine zentrale Datenbank. Der Grub-Screensaver zeigt am Bildschirm, welche Seiten gerade durchforstet werden.

Download Grub

Prominentes Distributed-Computing
Das wohl bekannteste Projekt dieser Art ist sicher SETI@home zur Erforschung von möglichen Signalen außerirdischen Lebens. Knapp vier Millionen Internet-User beteiligen sich an dieser gemeinsamen Suche.

Bisher kein Hinweis auf außerirdisches Leben

Grub als neuer Google-Konkurrent

Hinter dem ehrgeizigen Projekt steht das US-Unternehmen LookSmart, das darauf hofft, später mit den gesammelten Daten eine umfassende Suchmaschine auf dem Laufenden halten zu können. In weiterer Folge will man mit der derzeit beliebtesten Suchmaschine Google konkurrieren.

Google arbeitet jedoch nach einem anderen Prinzip. Auf riesigen Serverbänken werden die Websites katalogisiert, weitere Rechenpower wird dazu benötgt, die Ergebnisse augenblicklich Millionen an Usern zu liefern.

Google aktualisiert seinen Datenfundus jedes Monat [Google-Dance]. Dabei ändert sich auch das Ranking der Seiten.

150 Millionen Suchanfragen pro Tag
Google sammelt auch die gestellten Suchanfragen, 150 Millionen pro Tag aus über 100 Ländern in 86 verschiedenen Sprachen, in seiner Datenbank. Jede Millisekunde werden die Logs aktualisiert und gespeichert.

Die Welt durch die Augen von Google

WiseNut wird von Grub gespeist

Derzeit werden die gesammelten Grub-Daten in die Suchmaschine WiseNut eingespielt. Die gesammelten Daten sind aber ebenso für alle Benutzer frei zugänglich und können in eine Website oder Anwendung eingebunden werden.

Experten sehen die neue Suchmaschine aber kritisch: "Technisch ist nichts daran auszusetzen. Aber es gibt für die User keinen Anreiz, sich an dem Projekt zu beteiligen", so Anthony Rowston, Experte des Microsoft Research Laboratory im englischen Cambridge. Der Erfolg von Grub hänge daher vom guten Willen der Freiwilligen ab.