Was ist TransE und wofür wird dieses Modell verwendet?
TransE ist ein energiebasiertes Modell für das Lernen von niedrig-dimensionalen Embedding von Entitäten, wobei Beziehungen zwischen den Entitäten als Translation modelliert werden. TransE wird zur Modellierung von multi-relationalen Daten verwendet.
Beziehung als Translation:
Beziehung r zwischen Entitäten h und t
—> Falls Beziehung besteht: h+r = t
—> keine Beziehung: h+r soll weit weg von t sein
Wie wird das Training von TransE durchgeführt?
Das Training erfolgt durch SGD, wobei eine Verlustfunktion minimiert wird, die abzielt die Translation Equation für wahre Tripel zu erfüllen und für falsche Tripel nicht zu erfüllen
Wie werden Entitäten und Beziehungen bei TransE embeddded? (Skizze)
Welche Vorteile ergeben sich?
Jede Entität und jede Beziehung wird durch einen low-dimensional Vektor in gemeinsamen Embedding Space embedded. Beziehungen zwischen Entitäten werden als räumliche Übersetzungen/Translations in einem Embedding Space verstanden.
-> Niedrige Dimensionalität bzw. wenige Parameter, weil jede Entität und jede Beziehungnur durch einen low dimensional Vektor dargestellt wird, was kompakte Repräsentation ermöglicht.
Generalisieren
Skaliert auch bei großen KBs gut
Verbesserung von Link-Predictions, auch bedingt, durch eine einfache Optimierung des Modells
Was sind corrupted Triplets und welchen Zweck haben Sie?
Corrupted Triplets: Eine Methode, bei der absichtlich Fehler in Triplets (Subjekt, Relation, Objekt) eingeführt werden, um ein Modell zu trainieren, korrekte von fehlerhaften Beziehungen zu unterscheiden und dadurch seine Robustheit und Klassifikationsfähigkeiten zu verbessern.
Welche Art von Informationen nutzt DeepWalk, um soziale Repräsentationen von Graphen zu erfassen?
DeepWalk nutzt lokale Informationen aus abgeschnittenen Random Walks als Eingabe, um soziale Repräsentationen in Graphen zu erfassen.
Wie unterscheidet sich DeepWalk von anderen Methoden zur Generierung von Merkmalen aus Graphen?
DeepWalk unterscheidet sich von anderen Methoden, indem es labelunabhängige Repräsentationen des Graphen lernt, die für verschiedene Aufgaben gemeinsam genutzt werden können.
Wie skaliert DeepWalk für die Erstellung von Repräsentationen von Web-Scale-Graphen?
DeepWalk ist skalierbar und kann für die Erstellung von Repräsentationen von Web-Scale-Graphen verwendet werden, wobei minimale Änderungen erforderlich sind, um eine Streaming-Version des Ansatzes zu implementieren.
Welche Leistungsverbesserungen zeigte DeepWalk im Vergleich zu anderen Methoden bei der Klassifizierung von sozialen Netzwerken?
DeepWalk weist eine verbesserte Klassifikationsleistung auf, insbesondere bei Label-Dichte. Selbst mit weniger Trainingsdaten konnte DeepWalk größtenteils effektiv und robust bleiben.
Was ist die Rolle von Evidenzknoten im Inferenz-Wissensgraphen?
(KG Inferenz)
Evidenzknoten kodieren Informationen über erkannte Slots (SLU) im Markov Random Field (MRF). Der Zustand „Ein“ / „Aus“ gibt die Wahrscheinlichkeit an, wie wahrscheinlich es ist, dass ein Evidenzknoten den Zielzustand des Benutzers darstellt.
Was entscheidet den Zustand des Knotens („Ein“, „Aus“)?
Der Zustand eines Knotens („Ein“, „Aus“) wird durch die Randwahrscheinlichkeit des Knotens bestimmt, die durch die Bedingung der beobachteten Evidenzknoten berechnet wird. Wenn Evidenzknoten „Ein“ sind, propagieren sie ihren Zustand entlang der Kanten zu verbundenen Knoten im Markov Random Field (MRF), was die Wahrscheinlichkeit erhöht, dass auch diese Knoten „Ein“ sind. Das genaue Potenzial, dass zwei Knoten denselben Zustand haben, hängt von den Paarpotenzialen zwischen den Knoten ab, die für „Ein“ einen höheren Wert haben, wenn die Knoten denselben Zustand teilen.
Was sind die Unterschiede zwischen exakter und approximierter Inferenz in grafischen Modellen?
Exakte Inferenz kann für kleine Graphen berechnet werden.
Für große Datenmengen ist exakte Inferenz rechnerisch unpraktikabel.
Loopy Belief Propagation ist schneller, indem es über die Graphstruktur iteriert, um die Propagation der Evidenz zu approximieren.
Wie kann man das Quell-KG vereinfachen?
Man kann die Kanten ungerichtet machen, um das Quellwissen zu vereinfachen.
Beschreibe den Algorithmus basierend auf der gegebenen Graphstruktur und „propagiere“ die Werte.
1. Konvertiere den semantischen Wissensgraphen in ein MRF:
Jeder Knoten im Wissensgraphen wird zu einer binären Zufallsvariablen.
Definiere Potenzialfunktionen über den Knoten und Kanten.
2. Füge Evidenzknoten zum MRF hinzu:
Mappe SLU-Slot-Werte zu entsprechenden Knoten.
Klemme die Evidenzknoten auf „Ein“ (wenn der Benutzer Informationen liefert oder bestätigt) oder „Aus“ (wenn der Benutzer eine Verneinung äußert).
3. Führe exakte oder approximierte Inferenz auf dem MRF durch, um die Randwahrscheinlichkeit für jeden Knoten zu berechnen.
4. Sortiere alle Knoten nach ihrer marginalen Wahrscheinlichkeit, „Ein“ zu sein, und gebe die Top-K-Entitätsknoten an den Benutzer zurück.
5. Wende eine Übergangsfunktion T an, um Netzwerkmarginale in die nächste Runde zu projizieren und wiederhole ab Schritt 2.
Last changed15 days ago
