Suchmaschinentechnologie – Wikipedia

Eine Suchmaschine ist ein Softwareprogramm zum Abrufen von Informationen, das Informationen zum Abrufen und Präsentieren als Antwort auf Benutzeranfragen erkennt, crawlt, transformiert und speichert.^[1]

ODER

Eine Suchmaschine ist ein webbasiertes Tool, mit dem Benutzer Informationen auf www finden können.^[2]

Eine Suchmaschine besteht normalerweise aus vier Komponenten, z. B. Suchoberfläche, Crawler (auch als Spider oder Bot bezeichnet), Indexer und Datenbank. Der Crawler durchläuft eine Dokumentensammlung, dekonstruiert Dokumenttext und weist Ersatz für die Speicherung im Suchmaschinenindex zu. Online-Suchmaschinen speichern auch Bilder, Linkdaten und Metadaten für das Dokument …

Geschichte der Suchtechnologie[edit]

Dieser Abschnitt ist leer. Sie können helfen, indem Sie es hinzufügen. ((Juli 2014)

Der Memex[edit]

Das Konzept des Hypertexts und einer Speichererweiterung stammt aus einem Artikel, der im Juli 1945 in The Atlantic Monthly von Vannevar Bush mit dem Titel As We May Think veröffentlicht wurde. In diesem Artikel forderte Vannevar die Wissenschaftler auf, zusammenzuarbeiten, um einen Wissensbestand für die gesamte Menschheit aufzubauen. Anschließend schlug er die Idee eines praktisch unbegrenzten, schnellen, zuverlässigen, erweiterbaren, assoziativen Speicher- und Abrufsystems vor. Er nannte dieses Gerät ein Memex.^[3]

Bush betrachtete den Begriff der „assoziativen Indexierung“ als seinen wichtigsten konzeptionellen Beitrag. Wie er erklärte, war dies „eine Bestimmung, nach der jeder Gegenstand nach Belieben veranlasst werden kann, sofort und automatisch einen anderen auszuwählen. Dies ist das wesentliche Merkmal des Memex. Das Zusammenbinden von zwei Gegenständen ist das Wichtigste. “ Diese „Verknüpfung“ (wie wir jetzt sagen) stellte eine „Spur“ von Dokumenten dar, die benannt, codiert und wiedergefunden werden konnten. Darüber hinaus konnten nach dem Koppeln der beiden ursprünglichen Elemente „zahlreiche Elemente“ „zu einer Spur zusammengefügt“ werden. Sie könnten „schnell oder langsam überprüft werden, indem ein Hebel abgelenkt wird, wie er zum Blättern in einem Buch verwendet wird. Es ist genau so, als ob die physischen Gegenstände aus weit voneinander entfernten Quellen zusammengetragen und zu einem neuen Buch zusammengefügt worden wären. “^[4]

Alle im memex verwendeten Dokumente würden in Form einer Mikrofilmkopie vorliegen, die als solche erworben oder im Falle persönlicher Unterlagen von der Maschine selbst in einen Mikrofilm umgewandelt wird. Memex würde auch neue Abruftechniken einsetzen, die auf einer neuen Art der assoziativen Indizierung basieren, deren Grundidee eine Bestimmung ist, wonach jedes Element nach Belieben veranlasst werden kann, sofort und automatisch ein anderes auszuwählen, um persönliche “Spuren” durch verknüpfte Dokumente zu erstellen. Die neuen Verfahren, von denen Bush erwartete, dass sie das Speichern und Abrufen von Informationen erleichtern, würden zur Entwicklung völlig neuer Formen der Enzyklopädie führen.

Der wichtigste Mechanismus, der von Bush konzipiert und für die modernen Hypertextsysteme als geschlossen angesehen wird, ist der assoziative Pfad. Es wäre eine Möglichkeit, eine neue lineare Folge von Mikrofilmrahmen über eine beliebige Folge von Mikrofilmrahmen hinweg zu erstellen, indem auf die eben beschriebene Weise eine verkettete Folge von Links zusammen mit persönlichen Kommentaren und Seitenpfaden erstellt wird. Das wesentliche Merkmal des Memex [is] Der Vorgang des Zusammenbindens zweier Elemente … Wenn der Benutzer eine Spur erstellt, benennt er sie in seinem Codebuch und tippt sie auf seiner Tastatur aus. Vor ihm werden die beiden zu verbindenden Gegenstände auf benachbarte Betrachtungspositionen projiziert. Am unteren Rand befinden sich jeweils eine Reihe von Leerzeichen, und ein Zeiger zeigt eines davon auf jedem Element an. Der Benutzer tippt auf eine einzelne Taste, und die Elemente werden dauerhaft verbunden. Danach kann das andere jederzeit, wenn eines dieser Elemente angezeigt wird, sofort durch einfaches Tippen auf eine Schaltfläche unter dem entsprechenden Codebereich abgerufen werden.

In dem Artikel von Bush wird weder eine automatische Suche noch ein universelles Metadatenschema wie eine Standardbibliotheksklassifikation oder ein Hypertext-Elementsatz beschrieben. Wenn der Benutzer stattdessen einen Eintrag wie ein neues oder mit Anmerkungen versehenes Manuskript oder Bild machte, wurde von ihm erwartet, dass er es indiziert und in seinem persönlichen Codebuch beschreibt. Später konnte der Benutzer durch Konsultieren seines Codebuchs kommentierte und generierte Einträge zurückverfolgen.

1965 beteiligte sich Bush am Projekt INTREX des MIT zur Entwicklung von Technologien zur Mechanisierung der Verarbeitung von Informationen für die Bibliotheksnutzung. In seinem Aufsatz von 1967 mit dem Titel “Memex Revisited” wies er darauf hin, dass die Entwicklung des digitalen Computers, des Transistors, des Videos und anderer ähnlicher Geräte die Machbarkeit einer solchen Mechanisierung erhöht habe, die Kosten jedoch ihre Erfolge verzögern würden. Er hatte wieder recht.

Ted Nelson, der später Pionierarbeit mit dem ersten praktischen Hypertextsystem leistete und in den 1960er Jahren den Begriff “Hypertext” prägte, bezeichnete Bush als seinen Haupteinfluss.^[5]

Der am 28. August 1995 verstorbene Gerard Salton war der Vater der modernen Suchtechnologie. Seine Teams in Harvard und Cornell entwickelten das SMART-Informationsabrufsystem. Saltons Magic Automatic Retriever of Text enthielt wichtige Konzepte wie das Vektorraummodell, die Inverse Document Frequency (IDF), die Term Frequency (TF), Term Diskriminierungswerte und Relevanz-Feedback-Mechanismen.

Er verfasste ein 56-seitiges Buch mit dem Titel A Theory of Indexing, in dem viele seiner Tests erläutert wurden, auf denen die Suche noch weitgehend basiert.

String-Suchmaschinen[edit]

1987 wurde ein Artikel veröffentlicht, in dem die Entwicklung einer Zeichenketten-Suchmaschine (SSE) zum schnellen Abrufen von Text auf einer 1,6-μm-Doppelmetall-CMOS-Festkörperschaltung mit 217.600 Transistoren auf einer 8,62 x 12,76- beschrieben wurde. mm Matrizenfläche. Die SSE enthielt eine neuartige String-Sucharchitektur, die eine 512-stufige FSA-Logik (Finite-State-Automat) mit einem inhaltsadressierbaren Speicher (CAM) kombiniert, um einen ungefähren String-Vergleich von 80 Millionen Strings pro Sekunde zu erzielen. Die CAM-Zelle bestand aus vier herkömmlichen statischen RAM (SRAM) -Zellen und einer Lese- / Schreibschaltung. Der gleichzeitige Vergleich von 64 gespeicherten Zeichenfolgen mit variabler Länge wurde in 50 ns für einen Eingabetextstrom von 10 Millionen Zeichen / s erreicht, was eine Leistung trotz des Vorhandenseins von Einzelzeichenfehlern in Form von Zeichencodes ermöglicht. Darüber hinaus ermöglichte der Chip die Suche nach nicht verankerten Zeichenfolgen und die Suche nach Zeichenfolgen mit variabler Länge (egal) (VLDC).^[6]

Web-Suchmaschinen[edit]

Archie[edit]

Die erste Web-Suchmaschine war Archie, die 1990 gegründet wurde^[7] von Alan Emtage, einem Studenten der McGill University in Montreal. Der Autor wollte das Programm ursprünglich “Archive” nennen, musste es jedoch kürzen, um dem Unix-Weltstandard für die Zuweisung von Programmen und Dateien mit kurzen, kryptischen Namen wie grep, cat, troff, sed, awk, perl usw. zu entsprechen .

Die primäre Methode zum Speichern und Abrufen von Dateien war das File Transfer Protocol (FTP). Dies war (und ist) ein System, das eine übliche Methode für Computer zum Austausch von Dateien über das Internet spezifizierte. Das funktioniert so: Einige Administratoren entscheiden, dass sie Dateien von seinem Computer verfügbar machen möchten. Er richtet auf seinem Computer ein Programm ein, das als FTP-Server bezeichnet wird. Wenn jemand im Internet eine Datei von diesem Computer abrufen möchte, stellt er eine Verbindung über ein anderes Programm her, das als FTP-Client bezeichnet wird. Jedes FTP-Client-Programm kann eine Verbindung mit jedem FTP-Server-Programm herstellen, solange sowohl das Client- als auch das Server-Programm den im FTP-Protokoll festgelegten Spezifikationen vollständig entsprechen.

Zunächst musste jeder, der eine Datei freigeben wollte, einen FTP-Server einrichten, um die Datei anderen zur Verfügung zu stellen. Später wurden “anonyme” FTP-Sites zu Repositorys für Dateien, sodass alle Benutzer sie veröffentlichen und abrufen konnten.

Selbst bei Archivseiten waren viele wichtige Dateien auf kleinen FTP-Servern verstreut. Leider konnten diese Dateien nur über das Internet-Äquivalent von Mundpropaganda gefunden werden: Jemand postete eine E-Mail an eine Nachrichtenliste oder ein Diskussionsforum, in dem die Verfügbarkeit einer Datei angekündigt wurde.

Archie hat das alles geändert. Es kombinierte einen skriptbasierten Datensammler, der Site-Listen anonymer FTP-Dateien abrief, mit einem Matcher für reguläre Ausdrücke zum Abrufen von Dateinamen, die einer Benutzerabfrage entsprechen. (4) Mit anderen Worten, Archies Sammler durchsuchte FTP-Sites im Internet und indizierte alle gefundenen Dateien. Der Matcher für reguläre Ausdrücke ermöglichte Benutzern den Zugriff auf die Datenbank.^[8]

Veronica[edit]

1993 entwickelte die Gruppe System Computing Services der Universität von Nevada Veronica.^[7] Es wurde als eine Art Suchgerät erstellt, das Archie ähnelt, jedoch für Gopher-Dateien. Ein weiterer Gopher-Suchdienst namens Jughead erschien wenig später, wahrscheinlich nur, um das Comic-Triumvirat abzurunden. Jughead ist ein Akronym für Jonzys Universal Gopher Hierarchy Excavation and Display, obwohl man wie bei Veronica wahrscheinlich davon ausgehen kann, dass der Schöpfer das Akronym unterstützt hat. Die Funktionalität von Jughead war ziemlich identisch mit der von Veronica, obwohl sie an den Rändern etwas rauer zu sein scheint.^[8]

Der einsame Wanderer[edit]

Der World Wide Web Wanderer, 1993 von Matthew Gray entwickelt^[9] war der erste Roboter im Web und wurde entwickelt, um das Wachstum des Web zu verfolgen. Anfangs zählte der Wanderer nur Webserver, aber kurz nach seiner Einführung begann er im Laufe der Zeit, URLs zu erfassen. Die Datenbank der erfassten URLs wurde zum Wandex, der ersten Webdatenbank.

Matthew Grays Wanderer sorgte zu dieser Zeit für einige Kontroversen, teilweise weil frühe Versionen der Software im Internet weit verbreitet waren und einen spürbaren netzweiten Leistungsabfall verursachten. Diese Verschlechterung trat auf, weil der Wanderer hunderte Male am Tag auf dieselbe Seite zugreifen würde. Der Wanderer änderte bald seine Wege, aber die Kontroverse darüber, ob Roboter gut oder schlecht für das Internet waren, blieb bestehen.

Als Reaktion auf den Wanderer erstellte Martijn Koster im Oktober 1993 das Archie-Like Indexing of the Web (ALIWEB). Wie der Name schon sagt, war ALIWEB das HTTP-Äquivalent von Archie und ist daher in vielerlei Hinsicht immer noch einzigartig.

ALIWEB hat keinen Web-Suchroboter. Stattdessen veröffentlichen Webmaster der teilnehmenden Websites ihre eigenen Indexinformationen für jede Seite, die aufgelistet werden soll. Der Vorteil dieser Methode besteht darin, dass Benutzer ihre eigene Site beschreiben können und ein Roboter nicht daran arbeitet, die Nettobandbreite zu verbrauchen. Leider sind die Nachteile von ALIWEB heute eher ein Problem. Der Hauptnachteil besteht darin, dass eine spezielle Indexdatei eingereicht werden muss. Die meisten Benutzer verstehen nicht, wie eine solche Datei erstellt wird, und senden daher ihre Seiten nicht. Dies führt zu einer relativ kleinen Datenbank, was bedeutet, dass Benutzer weniger wahrscheinlich ALIWEB durchsuchen als eine der großen botbasierten Websites. Dieser Catch-22 wurde durch die Einbeziehung anderer Datenbanken in die ALIWEB-Suche etwas ausgeglichen, hat aber immer noch nicht die Massenattraktivität von Suchmaschinen wie Yahoo! oder Lycos.^[8]

Anregen[edit]

Excite, ursprünglich Architext genannt, wurde im Februar 1993 von sechs Stanford-Studenten ins Leben gerufen. Ihre Idee war es, statistische Analysen von Wortbeziehungen zu verwenden, um eine effizientere Suche über die große Menge an Informationen im Internet zu ermöglichen. Ihr Projekt wurde Mitte 1993 vollständig finanziert. Sobald die Finanzierung gesichert war. Sie haben eine Version ihrer Suchsoftware veröffentlicht, die Webmaster auf ihren eigenen Websites verwenden können. Zu dieser Zeit hieß die Software Architext, jetzt heißt sie Excite for Web Server.^[8]

Excite war die erste ernsthafte kommerzielle Suchmaschine, die 1995 gestartet wurde.^[10] Es wurde in Stanford entwickelt und von @Home für 6,5 Milliarden US-Dollar gekauft. Im Jahr 2001 gingen Excite und @Home bankrott und InfoSpace kaufte Excite für 10 Millionen US-Dollar.

Einige der ersten Analysen der Websuche wurden in Suchprotokollen von Excite durchgeführt^[11][12]

Yahoo![edit]

Im April 1994 promovierten zwei Stanford University Ph.D. Die Kandidaten David Filo und Jerry Yang haben einige Seiten erstellt, die ziemlich populär wurden. Sie nannten die Sammlung von Seiten Yahoo! Ihre offizielle Erklärung für die Namenswahl war, dass sie sich als ein Paar Yahoo betrachteten.

Als die Anzahl der Links zunahm und ihre Seiten täglich Tausende von Treffern erhielten, entwickelte das Team Möglichkeiten, um die Daten besser zu organisieren. Um das Abrufen von Daten zu erleichtern, hat Yahoo! (www.yahoo.com) wurde ein durchsuchbares Verzeichnis. Die Suchfunktion war eine einfache Datenbanksuchmaschine. Weil Yahoo! Einträge wurden manuell eingegeben und kategorisiert, Yahoo! wurde nicht wirklich als Suchmaschine eingestuft. Stattdessen wurde es allgemein als durchsuchbares Verzeichnis angesehen. Yahoo! hat seitdem einige Aspekte des Erfassungs- und Klassifizierungsprozesses automatisiert und die Unterscheidung zwischen Engine und Verzeichnis verwischt.

Der Wanderer erfasste nur URLs, was es schwierig machte, Dinge zu finden, die nicht explizit durch ihre URL beschrieben wurden. Da URLs anfangs eher kryptisch sind, hat dies dem durchschnittlichen Benutzer nicht geholfen. Durchsuchen von Yahoo! oder die Galaxie war viel effektiver, weil sie zusätzliche beschreibende Informationen über die indizierten Websites enthielt.

Lycos[edit]

Im Juli 1994 entwickelte Michael Mauldin an der Carnegie Mellon University im Urlaub von der CMU die Lycos-Suchmaschine.

Arten von Web-Suchmaschinen[edit]

Suchmaschinen im Web sind Websites, die mit der Möglichkeit ausgestattet sind, die auf anderen Websites gespeicherten Inhalte zu durchsuchen. Es gibt Unterschiede in der Arbeitsweise verschiedener Suchmaschinen, aber alle führen drei grundlegende Aufgaben aus.^[13]

1. Suchen und Auswählen von vollständigen oder teilweisen Inhalten anhand der angegebenen Schlüsselwörter.
2. Verwalten des Index des Inhalts und Verweisen auf den gefundenen Speicherort
3. Benutzer können nach Wörtern oder Wortkombinationen suchen, die in diesem Index gefunden wurden.

Der Prozess beginnt, wenn ein Benutzer über die bereitgestellte Schnittstelle eine Abfrageanweisung in das System eingibt.

Art	Beispiel	Beschreibung
Konventionell	Bibliothekskatalog	Suche nach Stichwort, Titel, Autor usw.
Textbasiert	Google, Bing, Yahoo!	Suche nach Stichwörtern. Eingeschränkte Suche mit Abfragen in natürlicher Sprache.
Sprachbasiert	Google, Bing, Yahoo!	Suche nach Stichwörtern. Eingeschränkte Suche mit Abfragen in natürlicher Sprache.
Multimedia-Suche	QBIC, WebSeek, SaFe	Suche nach visuellem Erscheinungsbild (Formen, Farben, ..)
Q / A.	Stapelaustausch, NSIR	Suche in (eingeschränkter) natürlicher Sprache
Clustering-Systeme	Vivisimo, Clusty
Forschungssysteme	Lemur, Nutch

Grundsätzlich gibt es drei Arten von Suchmaschinen: solche, die von Robotern angetrieben werden (sogenannte Crawler; Ameisen oder Spinnen), und solche, die von menschlichen Eingaben angetrieben werden; und diejenigen, die eine Mischung aus beiden sind.

Crawler-basierte Suchmaschinen sind solche, die automatisierte Software-Agenten (sogenannte Crawler) verwenden, die eine Website besuchen, die Informationen auf der tatsächlichen Site lesen, die Meta-Tags der Site lesen und auch den Links folgen, über die die Site eine Indizierung für alle verknüpften Websites durchführt Auch Websites. Der Crawler gibt alle diese Informationen an ein zentrales Depot zurück, in dem die Daten indiziert werden. Der Crawler kehrt regelmäßig zu den Websites zurück, um nach geänderten Informationen zu suchen. Die Häufigkeit, mit der dies geschieht, wird von den Administratoren der Suchmaschine festgelegt.

Von Menschen betriebene Suchmaschinen verlassen sich darauf, dass Menschen Informationen übermitteln, die anschließend indiziert und katalogisiert werden. Nur übermittelte Informationen werden in den Index aufgenommen.

In beiden Fällen durchsuchen Sie beim Abfragen einer Suchmaschine nach Informationen tatsächlich den Index, den die Suchmaschine erstellt hat. Sie durchsuchen das Web nicht. Diese Indizes sind riesige Datenbanken mit Informationen, die gesammelt, gespeichert und anschließend durchsucht werden. Dies erklärt, warum manchmal eine Suche in einer kommerziellen Suchmaschine wie Yahoo! oder Google gibt Ergebnisse zurück, bei denen es sich tatsächlich um tote Links handelt. Da die Suchergebnisse auf dem Index basieren, behandelt die Suchmaschine die Seite als noch aktiven Link, obwohl der Index nicht aktualisiert wurde, seit eine Webseite ungültig wurde, obwohl dies nicht mehr der Fall ist. Dies bleibt so, bis der Index aktualisiert wird.

Warum führt dieselbe Suche in verschiedenen Suchmaschinen zu unterschiedlichen Ergebnissen? Ein Teil der Antwort auf diese Frage ist, dass nicht alle Indizes genau gleich sein werden. Es kommt darauf an, was die Spinnen finden oder was die Menschen eingereicht haben. Noch wichtiger ist jedoch, dass nicht jede Suchmaschine denselben Algorithmus zum Durchsuchen der Indizes verwendet. Der Algorithmus wird von den Suchmaschinen verwendet, um die Relevanz der Informationen im Index für das zu bestimmen, wonach der Benutzer sucht.

Eines der Elemente, nach denen ein Suchmaschinenalgorithmus sucht, ist die Häufigkeit und Position von Schlüsselwörtern auf einer Webseite. Diejenigen mit höherer Frequenz werden typischerweise als relevanter angesehen. Die Suchmaschinentechnologie wird jedoch immer ausgefeilter, um das sogenannte Keyword-Stuffing oder Spamdexing zu unterbinden.

Ein weiteres häufiges Element, das Algorithmen analysieren, ist die Art und Weise, wie Seiten mit anderen Seiten im Web verknüpft werden. Durch die Analyse, wie Seiten miteinander verknüpft sind, kann eine Engine sowohl bestimmen, worum es auf einer Seite geht (wenn die Schlüsselwörter der verknüpften Seiten den Schlüsselwörtern auf der Originalseite ähnlich sind) als auch, ob diese Seite als “wichtig” angesehen wird und eine verdient Steigerung des Rankings. So wie die Technologie immer ausgefeilter wird, um das Füllen von Keywords zu ignorieren, wird sie auch für Webmaster, die künstliche Links in ihre Websites einbauen, um ein künstliches Ranking zu erstellen, immer klüger.

Moderne Web-Suchmaschinen sind hochkomplizierte Softwaresysteme, die Technologien verwenden, die sich im Laufe der Jahre weiterentwickelt haben. Es gibt eine Reihe von Unterkategorien von Suchmaschinensoftware, die separat auf bestimmte Browsing-Anforderungen anwendbar sind. Dazu gehören Websuchmaschinen (z. B. Google), Suchmaschinen für Datenbanken oder strukturierte Daten (z. B. Dieselpoint) sowie gemischte Suchmaschinen oder Unternehmenssuchen. Die am weitesten verbreiteten Suchmaschinen wie Google und Yahoo! verwenden Hunderttausende Computer, um Billionen von Webseiten zu verarbeiten und ziemlich zielgerichtete Ergebnisse zu erzielen. Aufgrund dieses hohen Volumens an Abfragen und Textverarbeitung muss die Software in einer stark verteilten Umgebung mit einem hohen Grad an Überflüssigkeit ausgeführt werden.

Suchmaschinenkategorien[edit]

Web-Suchmaschinen[edit]

Suchmaschinen, die ausdrücklich für die Suche nach Webseiten, Dokumenten und Bildern entwickelt wurden, wurden entwickelt, um das Durchsuchen eines großen, nebulösen Blobs unstrukturierter Ressourcen zu erleichtern. Sie sind so konstruiert, dass sie einem mehrstufigen Prozess folgen: Durchforsten des unendlichen Vorrats an Seiten und Dokumenten, um den figurativen Schaum aus ihrem Inhalt zu entfernen, Schaum / Schlagworte in einer Art halbstrukturierter Form (Datenbank oder so) indizieren und schließlich Auflösen von Benutzereinträgen / -abfragen, um hauptsächlich relevante Ergebnisse und Links zu den überflogenen Dokumenten oder Seiten aus dem Inventar zurückzugeben.

Kriechen[edit]

Bei einer vollständigen Textsuche besteht der erste Schritt bei der Klassifizierung von Webseiten darin, ein “Indexelement” zu finden, das sich ausdrücklich auf den “Suchbegriff” bezieht. In der Vergangenheit begannen Suchmaschinen mit einer kleinen Liste von URLs als sogenannte Seed-Liste, riefen den Inhalt ab und analysierten die Links auf diesen Seiten nach relevanten Informationen, die anschließend neue Links bereitstellten. Der Prozess war sehr zyklisch und wurde fortgesetzt, bis genügend Seiten für den Suchenden gefunden wurden. Heutzutage wird eine kontinuierliche Crawling-Methode verwendet, im Gegensatz zu einer zufälligen Entdeckung, die auf einer Seed-Liste basiert. Die Durchforstungsmethode ist eine Erweiterung der oben genannten Erkennungsmethode. Außer es gibt keine Seed-Liste, da das System nie aufhört zu entwurmen.

Die meisten Suchmaschinen verwenden ausgefeilte Planungsalgorithmen, um zu „entscheiden“, wann eine bestimmte Seite erneut besucht werden soll, um ihre Relevanz zu ermitteln. Diese Algorithmen reichen von einem konstanten Besuchsintervall mit höherer Priorität für häufiger wechselnde Seiten bis zu einem adaptiven Besuchsintervall, das auf mehreren Kriterien wie Änderungshäufigkeit, Beliebtheit und Gesamtqualität der Website basiert. Die Geschwindigkeit des Webservers, auf dem die Seite ausgeführt wird, sowie Ressourcenbeschränkungen wie Hardwaremenge oder Bandbreite spielen ebenfalls eine Rolle.

Karte verknüpfen[edit]

Die Seiten, die durch Webcrawls entdeckt werden, werden häufig verteilt und in einen anderen Computer eingespeist, der eine wahre Karte der nicht abgedeckten Ressourcen erstellt. Die bündelige Clustermasse ähnelt ein wenig einem Diagramm, in dem die verschiedenen Seiten als kleine Knoten dargestellt werden, die durch Verknüpfungen zwischen den Seiten verbunden sind. Der Datenüberschuss wird in mehreren Datenstrukturen gespeichert, die einen schnellen Zugriff auf diese Daten durch bestimmte Algorithmen ermöglichen, die den Beliebtheitswert von Seiten im Web basierend auf der Anzahl der Links berechnen, die auf eine bestimmte Webseite verweisen. Auf diese Weise können Personen auf eine beliebige Anzahl zugreifen von Ressourcen, die mit der Diagnose von Psychosen befasst sind. Ein weiteres Beispiel wäre die Zugänglichkeit / der Rang von Webseiten mit Informationen zu Mohamed Morsi im Vergleich zu den besten Attraktionen, die man in Kairo besuchen kann, wenn man einfach “Ägypten” als Suchbegriff eingibt. Ein solcher Algorithmus, PageRank, der von den Google-Gründern Larry Page und Sergey Brin vorgeschlagen wurde, ist bekannt und hat viel Aufmerksamkeit erregt, da er die wiederholte Weltlichkeit der Websuche mit freundlicher Genehmigung von Studenten hervorhebt, die nicht wissen, wie man Themen bei Google richtig recherchiert. Die Idee, eine Linkanalyse durchzuführen, um einen Beliebtheitsgrad zu berechnen, ist älter als PageRank. Andere Varianten derselben Idee werden derzeit verwendet – Grundschüler führen die gleichen Berechnungen bei der Auswahl von Kickballteams durch. Im Ernst, diese Ideen können in drei Hauptkategorien eingeteilt werden: Rang einzelner Seiten und Art des Website-Inhalts. Suchmaschinen unterscheiden häufig zwischen internen und externen Links, da Webmaster und -herrinnen der schamlosen Eigenwerbung nicht fremd sind. Linkkarten-Datenstrukturen speichern normalerweise auch den in die Links eingebetteten Ankertext, da der Ankertext häufig eine Zusammenfassung des Inhalts einer Webseite in „sehr guter Qualität“ liefert.

Datenbanksuchmaschinen[edit]

Die Suche nach textbasierten Inhalten in Datenbanken stellt einige besondere Herausforderungen dar, aus denen sich eine Reihe spezialisierter Suchmaschinen entwickeln. Datenbanken können beim Lösen komplexer Abfragen langsam sein (mit mehreren logischen oder String-Übereinstimmungsargumenten). Datenbanken ermöglichen pseudo-logische Abfragen, die bei Volltextsuchen nicht verwendet werden. Für eine Datenbank ist kein Crawlen erforderlich, da die Daten bereits strukturiert sind. Es ist jedoch häufig erforderlich, die Daten in einer sparsameren Form zu indizieren, um eine schnellere Suche zu ermöglichen.

Gemischte Suchmaschinen[edit]

Manchmal enthalten die durchsuchten Daten sowohl Datenbankinhalte als auch Webseiten oder Dokumente. Die Suchmaschinentechnologie wurde entwickelt, um auf beide Anforderungen zu reagieren. Die meisten gemischten Suchmaschinen sind große Web-Suchmaschinen wie Google. Sie durchsuchen sowohl strukturierte als auch unstrukturierte Datenquellen. Nehmen Sie zum Beispiel das Wort “Ball”. Im einfachsten Sinne gibt es allein bei Wikipedia mehr als 40 Variationen zurück. Meinten Sie einen Ball, wie in der gesellschaftlichen Versammlung / Tanz? Ein Fußball? Der Fußballen? Seiten und Dokumente werden in einem separaten Index gecrawlt und indiziert. Datenbanken werden auch aus verschiedenen Quellen indiziert. Suchergebnisse werden dann für Benutzer generiert, indem diese mehreren Indizes parallel abgefragt und die Ergebnisse gemäß „Regeln“ zusammengesetzt werden.

Siehe auch[edit]

Verweise[edit]