Content-Lawine überrollt Suchmaschinen

Einerseits hält das Wachstum des Web ungebrochen an. Rund 550 Milliarden Webseiten gibt es inzwischen weltweit. Andererseits wird es immer schwieriger, Inhalte auch zu finden, wenn es sich nicht gerade um Pop-News, Hollywood-Stars oder Pornos handelt.

Selbst die besten Suchmaschinen wie Google oder Altavista kratzen lediglich an der Oberfläche und indizieren gerade 1,4 Milliarden Webseiten - also weniger als ein Prozent.

"Der Großteil des Content ist in den Weiten des World Wide Web verschollen wie in einem Sumpf", meint Michael Bregman, Cheftechniker bei BrightPlanet.

US-Forscherin Doyle: "Beginne meine Recherche selten im Internet"
Die Wissenschaftlerin Caren Doyle recherchiert nur noch dann im Netz, wenn alle anderen Wege scheitern. "Wenn ich nicht ganz sicher bin, dass ich eine sehr gute Website finden kann, dann beginne ich meine Recherche nicht mehr im Internet", meint die Forscherin.

Google
Altavista

Suchmaschinen kassieren ab
Schon seit einiger Zeit ist es möglich, die Platzierung in bestimmten Listen von Yahoo durch Bezahlung zu manipulieren.

Preisskala ist nach oben offen ...

Boom zu dynamisch generierten Webseiten

Während es Services wie Napster einigermaßen gut geschafft haben, Songs auffindbar zu machen, gerät eine Stichwortsuche nach "Napster", "Pokemon" oder "Sex" mit 850.000, 1,6 Millionen bzw. 30 Millionen Treffern zum Fiasko.

Doch auch das Auffinden von wissenschaftlichen, juristischen oder wirtschaftlichen Spezialseiten war nie zuvor schwieriger. Ein entscheidender Grund dafür: Immer weniger Inhalte werden auf statischen Webseiten generiert.

Der Einsatz von datenbankgestützten Online-Publikationstools wie Cold Fusion oder Microsofts ASP-Technologien nimmt zu. "Dynamisch generierte Seite existieren gar nicht, solange sie nicht von einem User angefordert werden", meint Danny Sullivan vom Newsletter "Search Engine Watch".

Verschollen in der Tiefsee
Den Großteil der nahezu versteckten Internet-Seiten versehen Experten unterdessen mit Attributen wie "unsichtbares Web" oder die "Tiefsee des World Wide Web". Verantwortlich für das breite Versagen von Suchmaschinen ist ihrer Meinung nach jedoch keineswegs das stete Wachstum der Seiten, sondern die Einführung von datenbankgestützten Publikationssystemen. Deren Inhalte bleiben für herkömmliche Suchmaschinen unauffindbar.

Lycos
Fireball

Search Engine Watch

Gefangen in ewigen Schleifen

Datenbankgestützte Websites sind zwar wesentlich einfacher zu warten, Suchmaschinen stellen sie hingegen vor ein schweres Problem: Die Spürhunde des Web können von den dynamisch generierten Links buchstäblich in Geiselhaft genommen und in ewigen Schleifen gefangen werden.

Das US-Unternehmen BrightPlanet versucht diesem Problem mit einem eigens konstruierten Web-Gateway entgegenzutreten: Mit seiner Hilfe können mit einem Schlag über 200.000 spezielle Suchmaschinen erreicht werden und damit Seiten, die sowohl Google als auch Altavista verborgen bleiben.

Andere Wege geht der Anbieter "Northern Light": Er verlangt für jeden Aufruf eines Treffers einen Obulus, an dem er die Urheber der Texte beteiligt. Der Technikleiter von Google, Craig Silverstein, hingegen glaubt an die Zukunft des "freien" Web: "Es wird immer genug hochwertiger Content im World Wide Web zu finden sein."

Recherchetool Copernic
Auch das US-Unternehmen Copernic bietet mit seinem gleichnamigen Recherchetool die Möglichkeit, verschiedene themenzentrierte Suchmaschinen auf einen Schlag gemeinsam abzufragen.

Copernic
BrightPlanet