Wissensextraktion – Wikipedia

Wissensextraktion ist die Schaffung von Wissen aus strukturierten (relationale Datenbanken, XML) und unstrukturierten (Text, Dokumente, Bilder) Quellen. Das resultierende Wissen muss in einem maschinenlesbaren und maschineninterpretierbaren Format vorliegen und Wissen auf eine Weise darstellen, die das Ableiten erleichtert. Obwohl es methodisch der Informationsextraktion (NLP) und ETL (Data Warehouse) ähnlich ist, besteht das Hauptkriterium darin, dass das Extraktionsergebnis über die Erstellung strukturierter Informationen oder die Umwandlung in ein relationales Schema hinausgeht. Es erfordert entweder die Wiederverwendung vorhandenen formalen Wissens (Wiederverwendung von Kennungen oder Ontologien) oder die Generierung eines Schemas basierend auf den Quelldaten.

Die RDB2RDF W3C-Gruppe ^[1] standardisiert derzeit eine Sprache zum Extrahieren von Ressourcenbeschreibungs-Frameworks (RDF) aus relationalen Datenbanken. Ein weiteres beliebtes Beispiel für die Extraktion von Wissen ist die Umwandlung von Wikipedia in strukturierte Daten sowie die Zuordnung zu vorhandenem Wissen (siehe DBpedia und Freebase).

Überblick[edit]

Nach der Standardisierung von Wissensrepräsentationssprachen wie RDF und OWL wurden in diesem Bereich zahlreiche Forschungsarbeiten durchgeführt, insbesondere in Bezug auf die Umwandlung relationaler Datenbanken in RDF, Identitätsauflösung, Wissensentdeckung und Ontologielernen. Der allgemeine Prozess verwendet traditionelle Methoden aus der Informationsextraktion und dem Extrahieren, Transformieren und Laden (ETL), die die Daten aus den Quellen in strukturierte Formate transformieren.

Die folgenden Kriterien können verwendet werden, um Ansätze in diesem Thema zu kategorisieren (einige von ihnen berücksichtigen nur die Extraktion aus relationalen Datenbanken):^[2]

Beispiele[edit]

Entitätsverknüpfung[edit]

1. DBpedia Spotlight, OpenCalais, Löwenzahn dataTXT, die Zemanta API, Extractiv und PoolParty Extractor Analysieren Sie freien Text über die Erkennung benannter Entitäten und unterscheiden Sie die Kandidaten dann über die Namensauflösung und verknüpfen Sie die gefundenen Entitäten mit dem DBpedia-Wissensrepository^[3] ((Löwenzahn dataTXT Demo oder DBpedia Spotlight Web-Demo oder PoolParty Extractor Demo).

Präsident Obama am Mittwoch angerufen Kongress Verlängerung einer Steuervergünstigung für Studenten, die im Konjunkturpaket des letzten Jahres enthalten waren, mit der Begründung, dass die Politik großzügigere Unterstützung bietet.

Da Präsident Obama mit einer DBpedia LinkedData-Ressource verknüpft ist, können weitere Informationen automatisch abgerufen werden, und ein Semantic Reasoner kann beispielsweise schließen, dass die erwähnte Entität vom Typ ist Person (mit FOAF (Software)) und vom Typ Präsidenten der Vereinigten Staaten (mit YAGO). Gegenbeispiele: Methoden, die nur Entitäten erkennen oder auf Wikipedia-Artikel und andere Ziele verlinken, die keinen weiteren Abruf strukturierter Daten und formalen Wissens ermöglichen.

Relationale Datenbanken zu RDF[edit]

1. Triplify, D2R Server, Ultrawrapund Virtuoso RDF-Ansichten sind Tools, die relationale Datenbanken in RDF umwandeln. Während dieses Prozesses können vorhandene Vokabulare und Ontologien während des Konvertierungsprozesses wiederverwendet werden. Bei der Transformation einer typischen relationalen Tabelle mit dem Namen Benutzereine Spalte (zName) oder eine Aggregation von Spalten (zVorname und Familienname, Nachname) muss den URI der erstellten Entität angeben. Normalerweise wird der Primärschlüssel verwendet. Jede zweite Spalte kann als Beziehung zu dieser Entität extrahiert werden.^[4] Dann werden Eigenschaften mit formal definierter Semantik verwendet (und wiederverwendet), um die Informationen zu interpretieren. Beispiel: Eine Spalte in einer Benutzertabelle wird aufgerufen verheiratet mit kann als symmetrische Beziehung und eine Spalte definiert werden Startseite kann in eine Eigenschaft aus dem FOAF-Wortschatz umgewandelt werden foaf: homepageund qualifiziert es somit als inverse funktionale Eigenschaft. Dann jeder Eintrag der Nutzer Tabelle kann zu einer Instanz der Klasse gemacht werden Foaf: Person (Ontologie Bevölkerung). Zusätzlich könnte Domänenwissen (in Form einer Ontologie) aus dem erstellt werden status_id, entweder durch manuell erstellte Regeln (wenn status_id ist 2, der Eintrag gehört zur Klasse Lehrer) oder nach (halb) automatisierten Methoden (Ontologielernen). Hier ist eine Beispieltransformation:

 :Peter :marriedTo :Mary .  
 :marriedTo a owl:SymmetricProperty .  
 :Peter foaf:homepage   .  
 :Peter a foaf:Person .   
 :Peter a :Student .  
 :Claus a :Teacher .

1: 1-Zuordnung von RDB-Tabellen / -Ansichten zu RDF-Entitäten / -Attributen / -Werten[edit]

Beim Erstellen einer RDB-Darstellung einer Problemdomäne ist der Ausgangspunkt häufig ein Entity-Relationship-Diagramm (ERD). In der Regel wird jede Entität als Datenbanktabelle dargestellt, jedes Attribut der Entität wird zu einer Spalte in dieser Tabelle, und Beziehungen zwischen Entitäten werden durch Fremdschlüssel angegeben. Jede Tabelle definiert normalerweise eine bestimmte Entitätsklasse, jede Spalte eines ihrer Attribute. Jede Zeile in der Tabelle beschreibt eine Entitätsinstanz, die durch einen Primärschlüssel eindeutig identifiziert wird. Die Tabellenzeilen beschreiben zusammen einen Entitätssatz. In einer äquivalenten RDF-Darstellung desselben Entitätssatzes:

• Jede Spalte in der Tabelle ist ein Attribut (dh ein Prädikat).
• Jeder Spaltenwert ist ein Attributwert (dh Objekt).
• Jeder Zeilenschlüssel repräsentiert eine Entitäts-ID (dh einen Betreff).
• Jede Zeile repräsentiert eine Entitätsinstanz
• Jede Zeile (Entitätsinstanz) wird in RDF durch eine Sammlung von Tripeln mit einem gemeinsamen Betreff (Entitäts-ID) dargestellt.

Um eine äquivalente Ansicht basierend auf der RDF-Semantik zu rendern, wäre der grundlegende Zuordnungsalgorithmus wie folgt:

1. Erstellen Sie für jede Tabelle eine RDFS-Klasse
2. Konvertieren Sie alle Primärschlüssel und Fremdschlüssel in IRIs
3. Weisen Sie jeder Spalte ein Prädikat-IRI zu
4. Weisen Sie jeder Zeile ein Prädikat vom Typ rdf: zu und verknüpfen Sie es mit einer der Tabelle entsprechenden IRI der RDFS-Klasse
5. Erstellen Sie für jede Spalte, die weder Teil eines Primär- noch eines Fremdschlüssels ist, ein Tripel, das den Primärschlüssel-IRI als Subjekt, den Spalten-IRI als Prädikat und den Spaltenwert als Objekt enthält.

Eine frühe Erwähnung dieser grundlegenden oder direkten Abbildung findet sich in Tim Berners-Lees Vergleich des ER-Modells mit dem RDF-Modell.^[4]

Komplexe Zuordnungen relationaler Datenbanken zu RDF[edit]

Die oben erwähnte 1: 1-Zuordnung macht die Altdaten auf einfache Weise als RDF verfügbar. Zusätzliche Verfeinerungen können eingesetzt werden, um die Nützlichkeit der RDF-Ausgabe in Bezug auf die angegebenen Anwendungsfälle zu verbessern. Normalerweise gehen Informationen während der Transformation eines Entity-Relationship-Diagramms (ERD) in relationale Tabellen verloren (Details finden Sie in der nicht übereinstimmenden objektrelationalen Impedanz) und müssen rückentwickelt werden. Aus konzeptioneller Sicht können Extraktionsansätze aus zwei Richtungen kommen. Die erste Richtung versucht, ein OWL-Schema aus dem angegebenen Datenbankschema zu extrahieren oder zu lernen. Frühe Ansätze verwendeten eine feste Anzahl manuell erstellter Zuordnungsregeln, um die 1: 1-Zuordnung zu verfeinern.^[5][6][7] Ausgefeiltere Methoden verwenden Heuristiken oder Lernalgorithmen, um schematische Informationen zu induzieren (Methoden überschneiden sich mit dem Lernen in der Ontologie). Während einige Ansätze versuchen, die Informationen aus der Struktur zu extrahieren, die dem SQL-Schema inhärent ist^[8] (zB Fremdschlüssel analysieren), andere analysieren den Inhalt und die Werte in den Tabellen, um konzeptionelle Hierarchien zu erstellen^[9] (zB Spalten mit wenigen Werten sind Kandidaten, um Kategorien zu werden). Die zweite Richtung versucht, das Schema und seinen Inhalt einer bereits vorhandenen Domänenontologie zuzuordnen (siehe auch: Ausrichtung der Ontologie). Oft existiert jedoch keine geeignete Domain-Ontologie und muss zuerst erstellt werden.

XML[edit]

Da XML als Baum strukturiert ist, können alle Daten einfach in RDF dargestellt werden, das als Diagramm strukturiert ist. XML2RDF ist ein Beispiel für einen Ansatz, der leere RDF-Knoten verwendet und XML-Elemente und -Attribute in RDF-Eigenschaften umwandelt. Das Thema ist jedoch komplexer als bei relationalen Datenbanken. In einer relationalen Tabelle ist der Primärschlüssel ein idealer Kandidat, um Gegenstand der extrahierten Tripel zu werden. Ein XML-Element kann jedoch – je nach Kontext – als Subjekt, Prädikat oder Objekt eines Tripels transformiert werden. XSLT kann als Standardtransformationssprache verwendet werden, um XML manuell in RDF zu konvertieren.

Übersicht über Methoden / Werkzeuge[edit]

Der größte Teil der Informationen ist in Geschäftsdokumenten enthalten (ca. 80%)^[10]) ist in natürlicher Sprache codiert und daher unstrukturiert. Da unstrukturierte Daten eher eine Herausforderung für die Wissensextraktion darstellen, sind komplexere Methoden erforderlich, die im Vergleich zu strukturierten Daten im Allgemeinen schlechtere Ergebnisse liefern. Das Potenzial für einen massiven Erwerb von extrahiertem Wissen sollte jedoch die erhöhte Komplexität und die verringerte Qualität der Extraktion kompensieren. Unter natürlichen Sprachquellen werden im Folgenden Informationsquellen verstanden, bei denen die Daten unstrukturiert als Klartext angegeben werden. Wenn der angegebene Text zusätzlich in ein Markup-Dokument (z. B. ein HTML-Dokument) eingebettet ist, entfernen die genannten Systeme die Markup-Elemente normalerweise automatisch.

Sprachliche Annotation / Verarbeitung natürlicher Sprache (NLP)[edit]

Als Vorverarbeitungsschritt zur Wissensextraktion kann es erforderlich sein, sprachliche Anmerkungen mit einem oder mehreren NLP-Tools durchzuführen. Einzelne Module in einem NLP-Workflow bauen normalerweise auf werkzeugspezifischen Formaten für die Eingabe und Ausgabe auf. Im Rahmen der Wissensextraktion wurden jedoch strukturierte Formate für die Darstellung sprachlicher Anmerkungen angewendet.

Typische NLP-Aufgaben, die für die Wissensextraktion relevant sind, umfassen:

• POS-Tagging (Part-of-Speech)
• Lemmatisierung (LEMMA) oder Stemming (STEM)
• Wortsinn-Disambiguierung (WSD, im Zusammenhang mit der semantischen Annotation unten)
• Erkennung benannter Entitäten (NER, siehe auch IE unten)
• syntaktisches Parsen, wobei häufig syntaktische Abhängigkeiten (DEP) verwendet werden
• Flaches syntaktisches Parsing (CHUNK): Wenn die Leistung ein Problem darstellt, führt das Chunking zu einer schnellen Extraktion von nominalen und anderen Phrasen
• Anapherauflösung (siehe Koreferenzauflösung im IE unten, aber hier als Aufgabe gesehen, Verknüpfungen zwischen textuellen Erwähnungen und nicht zwischen der Erwähnung einer Entität und einer abstrakten Darstellung der Entität herzustellen)
• semantische Rollenbeschriftung (SRL, bezogen auf die Beziehungsextraktion; nicht zu verwechseln mit semantischer Annotation wie unten beschrieben)
• Diskursanalyse (Beziehungen zwischen verschiedenen Sätzen, die in realen Anwendungen selten verwendet werden)

In NLP werden solche Daten typischerweise in TSV-Formaten (CSV-Formate mit TAB als Trennzeichen) dargestellt, die häufig als CoNLL-Formate bezeichnet werden. Für Workflows zur Wissensextraktion wurden RDF-Ansichten zu solchen Daten gemäß den folgenden Community-Standards erstellt:

• NLP Interchange Format (NIF, für viele häufige Arten von Anmerkungen)^[11][12]
• Web Annotation (WA, häufig für die Verknüpfung von Entitäten verwendet)^[13]
• CoNLL-RDF (für Anmerkungen, die ursprünglich in TSV-Formaten dargestellt wurden)^[14][15]

Andere plattformspezifische Formate umfassen

• LAPPS Interchange Format (LIF, verwendet im LAPPS Grid)^[16][17]
• NLP Annotation Format (NAF, verwendet im NewsReader-Workflow-Management-System)^[18][19]

[edit]

Traditionelle Informationsextraktion ^[20] ist eine Technologie der Verarbeitung natürlicher Sprache, die Informationen aus typischen Texten natürlicher Sprache extrahiert und diese in geeigneter Weise strukturiert. Die Arten der zu identifizierenden Informationen müssen vor Beginn des Prozesses in einem Modell angegeben werden, weshalb der gesamte Prozess der traditionellen Informationsextraktion domänenabhängig ist. Der IE ist in die folgenden fünf Unteraufgaben unterteilt.

Die Aufgabe der Erkennung benannter Entitäten besteht darin, alle in einem Text enthaltenen benannten Entitäten zu erkennen und zu kategorisieren (Zuordnung einer benannten Entität zu einer vordefinierten Kategorie). Dies funktioniert durch Anwendung grammatikalischer Methoden oder statistischer Modelle.

Die Koreferenzauflösung identifiziert äquivalente Entitäten, die von NER innerhalb eines Textes erkannt wurden. Es gibt zwei relevante Arten von Äquivalenzbeziehungen. Die erste bezieht sich auf die Beziehung zwischen zwei verschiedenen vertretenen Entitäten (z. B. IBM Europe und IBM) und die zweite auf die Beziehung zwischen einer Entität und ihren anaphorischen Referenzen (z. B. it und IBM). Beide Arten können durch Koreferenzauflösung erkannt werden.

Während der Erstellung von Vorlagenelementen identifiziert das IE-System beschreibende Eigenschaften von Entitäten, die von NER und CO erkannt werden. Diese Eigenschaften entsprechen gewöhnlichen Eigenschaften wie Rot oder Groß.

Die Erstellung von Vorlagenbeziehungen identifiziert Beziehungen, die zwischen den Vorlagenelementen bestehen. Es kann verschiedene Arten von Beziehungen geben, z. B. “Works-for” oder “Location-In”, mit der Einschränkung, dass sowohl Domäne als auch Bereich Entitäten entsprechen.

In dem Vorlagenszenario werden Produktionsereignisse, die im Text beschrieben werden, in Bezug auf die von NER und CO erkannten Entitäten und die von TR identifizierten Beziehungen identifiziert und strukturiert.

[edit]

Ontologiebasierte Informationsextraktion ^[10] ist ein Teilfeld der Informationsextraktion, mit dem mindestens eine Ontologie verwendet wird, um den Prozess der Informationsextraktion aus Text in natürlicher Sprache zu steuern. Das OBIE-System verwendet Methoden der traditionellen Informationsextraktion, um Konzepte, Instanzen und Beziehungen der verwendeten Ontologien im Text zu identifizieren, die nach dem Prozess zu einer Ontologie strukturiert werden. Somit bilden die Eingabe-Ontologien das Modell der zu extrahierenden Informationen.

Ontologielernen (OL)[edit]

Das Lernen von Ontologien ist die automatische oder halbautomatische Erstellung von Ontologien, einschließlich des Extrahierens der Begriffe der entsprechenden Domäne aus Text in natürlicher Sprache. Da das manuelle Erstellen von Ontologien äußerst arbeitsintensiv und zeitaufwändig ist, besteht eine große Motivation, den Prozess zu automatisieren.

Semantische Annotation (SA)[edit]

Während der semantischen Annotation^[21] Text in natürlicher Sprache wird durch Metadaten (häufig in RDFa dargestellt) ergänzt, die die Semantik der enthaltenen Begriffe maschinenverständlich machen sollen. Bei diesem im Allgemeinen halbautomatischen Prozess wird Wissen in dem Sinne extrahiert, dass eine Verbindung zwischen lexikalischen Begriffen und beispielsweise Konzepten aus Ontologien hergestellt wird. Auf diese Weise wird Wissen gewonnen, welche Bedeutung eines Begriffs im verarbeiteten Kontext beabsichtigt war, und daher basiert die Bedeutung des Textes auf maschinenlesbaren Daten mit der Fähigkeit, Schlussfolgerungen zu ziehen. Die semantische Annotation ist normalerweise in die folgenden zwei Unteraufgaben unterteilt.

1. Terminologieextraktion
2. Entitätsverknüpfung

Auf der Ebene der Terminologieextraktion werden lexikalische Begriffe aus dem Text extrahiert. Zu diesem Zweck bestimmt ein Tokenizer zunächst die Wortgrenzen und löst Abkürzungen. Anschließend werden Begriffe aus dem Text, die einem Konzept entsprechen, mit Hilfe eines domänenspezifischen Lexikons extrahiert, um diese bei der Entitätsverknüpfung zu verknüpfen.

In der Entitätsverknüpfung ^[22] Es wird eine Verbindung zwischen den aus dem Quelltext extrahierten lexikalischen Begriffen und den Konzepten aus einer Ontologie oder Wissensbasis wie DBpedia hergestellt. Dazu werden Kandidatenkonzepte mit Hilfe eines Lexikons entsprechend den verschiedenen Bedeutungen eines Begriffs erkannt. Schließlich wird der Kontext der Begriffe analysiert, um die am besten geeignete Begriffsklärung zu ermitteln und den Begriff dem richtigen Konzept zuzuordnen.

Beachten Sie, dass “semantische Annotation” im Kontext der Wissensextraktion nicht mit semantischem Parsing im Sinne der Verarbeitung natürlicher Sprache (auch als “semantische Annotation” bezeichnet) zu verwechseln ist: Semantisches Parsing zielt auf eine vollständige, maschinenlesbare Darstellung der natürlichen Sprache ab Während semantische Annotationen im Sinne der Wissensextraktion nur einen sehr elementaren Aspekt davon ansprechen.

Werkzeuge[edit]

Die folgenden Kriterien können verwendet werden, um Werkzeuge zu kategorisieren, die Wissen aus Text in natürlicher Sprache extrahieren.

In der folgenden Tabelle sind einige Tools für die Wissensextraktion aus natürlichen Sprachquellen aufgeführt.

Wissensentdeckung[edit]

Knowledge Discovery beschreibt den Prozess der automatischen Suche großer Datenmengen nach Mustern, die als Wissen betrachtet werden können Über die Daten.^[43] Es wird oft beschrieben als ableiten Wissen aus den Eingabedaten. Die Wissensentdeckung wurde aus dem Bereich Data Mining heraus entwickelt und ist sowohl methodisch als auch terminologisch eng damit verbunden.^[44]

Der bekannteste Zweig des Data Mining ist die Wissenserkennung, auch als Wissenserkennung in Datenbanken (KDD) bekannt. Ebenso wie bei vielen anderen Formen der Wissensentdeckung werden Abstraktionen der Eingabedaten erstellt. Das Wissen durch den Prozess erhalten kann zusätzlich werden Daten das kann für die weitere Verwendung und Entdeckung verwendet werden. Oft sind die Ergebnisse der Wissensentdeckung nicht umsetzbar, umsetzbare Wissensentdeckung, auch als domänengesteuertes Data Mining bekannt.^[45] zielt darauf ab, umsetzbares Wissen und Erkenntnisse zu entdecken und zu liefern.

Eine weitere vielversprechende Anwendung der Wissensentdeckung liegt im Bereich der Softwaremodernisierung, Schwachstellenerkennung und Compliance, bei der vorhandene Software-Artefakte verstanden werden. Dieser Prozess steht im Zusammenhang mit einem Konzept des Reverse Engineering. In der Regel wird das aus vorhandener Software gewonnene Wissen in Form von Modellen dargestellt, an die bei Bedarf spezifische Abfragen gestellt werden können. Eine Entitätsbeziehung ist ein häufiges Format zur Darstellung von Wissen, das aus vorhandener Software gewonnen wurde. Die Object Management Group (OMG) hat die Spezifikation Knowledge Discovery Metamodel (KDM) entwickelt, die eine Ontologie für die Software-Assets und ihre Beziehungen definiert, um die Wissensermittlung in vorhandenem Code durchzuführen. Die Entdeckung von Wissen aus vorhandenen Softwaresystemen, auch als Software Mining bezeichnet, ist eng mit dem Data Mining verbunden, da vorhandene Software-Artefakte einen enormen Wert für das Risikomanagement und den Geschäftswert enthalten, der für die Bewertung und Entwicklung von Softwaresystemen von entscheidender Bedeutung ist. Anstatt einzelne Datensätze abzubauen, konzentriert sich das Software-Mining auf Metadaten wie Prozessabläufe (z. B. Datenflüsse, Kontrollflüsse und Anrufzuordnungen), Architektur, Datenbankschemata und Geschäftsregeln / -begriffe / -prozesse.

Eingabedaten[edit]

Ausgabeformate[edit]

Siehe auch[edit]

Verweise[edit]