Wie die WWW-Kataloge sind auch die Suchmaschinen Datenbanken mit Informationen zu WWW-Seiten. Im Unterschied zu den Katalogen werden diese Datenbanken aber automatisch durch Programme erstellt, die sich selbständig durchs Netz bewegen. Diese Programme heißen Crawler, Spider, Wanderer oder Worms und werden unter dem Sammelbegriff Robots zusammengefasst.
Die Arbeitsweise eines Robots lässt sich folgendermaßen erklären:
Ein Robot fängt auf einem beliebigen Server an, lädt dessen Homepage, erstellt eine spezielle Tabelle (Index) über die bedeutungstragenden Wörter des kompletten Textes dieser Seite und fügt diesen der Datenbank hinzu. In dieser Tabelle wird nicht nur die URL der Seite festgehalten, auf der ein Wort vorkommt, sondern auch die Häufigkeit und die Positionen dieses Wortes.
Dann untersucht der Robot die Seite auf Hyperlinks zu weiteren Seiten, die er dann der Reihe nach einliest und bearbeitet. Jede so erhaltene Seite wird wiederum komplett durchsucht und bearbeitet. Erneut wird allen Links auf diesen Seiten Stück für Stück nachgegangen - bis Wochen später das ganze World Wide Web durchsucht ist. Diese automatische Indexierung des WWW muss fortwährend wiederholt werden, da sich die WWW-Seiten ständig ändern.
Auch wenn die Datenbank einer WWW-Suchmaschine meist mehr Seiten enthält als ein von Menschen erstellter Katalog, können auch sie nicht den vollständigen Inhalt des WWW abbilden. Manche Suchmaschinen spezialisieren sich auf bestimmte Bereiche des World Wide Web, z.B. auf Seiten mit der Toplevel Domain de.
Suchmaschinen | URL |
Google ist die zur Zeit bekannteste und schnellste Suchmaschine. Zur Zeit sucht Google auf 2,073,418,204 Web-Seiten, laut eigener Aussage. | http://www.google.de |
Alltheweb droht Google den Rang abzulaufen. Die deutsche Seite ist noch im Aufbau. (2,112,188,990 Seiten) | http://www.alltheweb.com |
AltaVista wurde von der Firma DEC entwickelt. Für das europäische und deutsche WWW sind eigene Suchmaschinen von AltaVista installiert worden. | http://www.altavista.com http://www.altavista.de |
Die Suchmaschine Lycos hat ebenfalls einen „Ableger“ speziell für das deutsche WWW. | |
Die Suchmaschine Excite erstellt sehr verständliche Zusammenfassungen. Auch bei ihr gibt es eine spezielle Version für das deutsche WWW. | |
Zusammenstellung ausgewählter Suchmaschinen der Universität Stuttgart | http://www.rus.uni-stuttgart.de/ beratung/suchen/ |