04 NLG

Das Netzwerk verwendet eine Kombination von Attention Weights, Decoder-Zustand und Relevanz von Vocabulary.

Dieses Netzwerk nutzt einen Speicherkomponenten, wo relevante Informationen während der Verarbeitung von Input gespeichert und abgerufen werden können.

1. Multi-Task Learning. Text-Generation als Main-Task und Knowledge-related Tasks als, wie zum Beispiel Link-Prediction oder Keyword-Extraction, Auxiliary Task verwenden.

2. Weakly supervised. Erstellen von Ground Truth Daten für die Text- Generierungsaufgabe basierend auf externem Knowledge.

Kein Fine-Tuning des pretrained Language Modelles nötig.

Die Hidden-States des Encoders werden zusammen mit dem letzen Hidden-State des aktuellen Decoder-Schrittes einzeln in ein geteiltes MLP gegeben. Die Ausgabe des MLPs ist ein einzelner Skalar für jeden Hidden-State des Encoders. Die Skalare werden in mit einer Softmax-Funktion normalisiert und anschließend mit den entsprechenden Hidden States multipliziert. Die Produkte aller States werden summiert und ergeben nun den aktuellen Kontext Vektor.

Die beiden Methodologien sind (M1) die Integration von Schlüsselwortzuweisung in die Textgenerierung und (M2) die Integrationvon Schlüsselwortextraktion in die Textgenerierung.

Wissen wird durch Methoden wie das Hebeln von Topic-Wörtern aus generativen Topic-Modellen (M1), das gemeinsame Optimieren des Generierungsmodells und des CNN-Topic-Modells (M2) und die Verbesserung der NLG durch neuronale Topic-Modelle mitvariationaler Inferenz (M3) in den Prozess der Textgenerierung integriert.

Textgenerierung kann aus verschiedenen Formen von Daten erfolgen, einschließlich textueller Daten, numerischer Daten, Bilddaten, strukturierten Wissensbasen und Wissensgraphen.

Der Survey ist in Abschnitte unterteilt, die sich mit grundlegenden NLG-Modellen, der Integration von internem Wissen, der Integration von externem Wissen und Benchmarks für wissens-erweiterte NLG befassen. Es werden auch zukünftige Arbeiten und Schlussfolgerungen diskutiert

Es gibt zwei Hauptmethoden:

1. Schlüsselwortzuweisung – Die Verwendung eines kontrollierten Wortschatzes oder einer vordefinierten Taxonomie.

2. Schlüsselwortextraktion – Die explizite Auswahl repräsentativer Wörter direkt aus dem Dokument.

Topics können durch generative Topic-Modelle wie LDA gefunden und in NLG-Systeme integriert werden,

z. B.:

1. Leverage Topic Words (M1) – Verwendung von Top-k-Wörtern mit hoher Wahrscheinlichkeit für ein Topic.

2. Joint Optimization (M2) – Gemeinsame Optimierung von Generierungs- und Topic-Modellen.

3. Variational Inference (M3) – Kombination von neuronalen und probabilistischen Modellen, um kohärente Topics zu lernen und zu generieren.

• Topic

• Keywords

• Linguistic Features

• Open Knowledge Graphen

Zusatzinfo:

Linguistic Features :

• Einbeziehung:

  • Nutzung handgefertigter Features wie POS-Tags, Dependency Parsing oder Named Entity Recognition (NER).

  • Syntax- und Semantik-Informationen durch Dependency- und Semantic-Dependency-Graphen integrieren.

• Vorteil: Verbesserung des Verständnisses der Eingabesequenz durch linguistische Kontextinformationen.

Open Knowledge Graphen:

• Einbeziehung:

  • Aufbau von Graphen durch Open Information Extraction (OpenIE).

  • Integration der Graphen in Generierungsmodelle mit Graph Attention Networks (GAN).

• Vorteil: Strukturierte Zusammenfassung redundanter Informationen und Erkennung von Beziehungen zwischen Entitäten.

Vorteile:

• Kohärentere Topics.

• Skalierbarkeit auf große Datensets.

• Backpropagation ermöglicht eine verbundene Optimierung.

Nachteile:

• Schwierigkeit, Topic-Korrelationen zu modellieren, da häufig isotrope Gauß-Verteilungen verwendet werden.

• Die theoretische Analyse der Qualität der generierten Topics fehlt.

Anhand der Priori-Verteilungen werden die Posteriolien-Verteilungen mit Abhängigkeit zu Input und Output Sequenz geschätzt, um mit dieser Verteilung eine bessere Auswahl an Einträgen zu ermöglichen.

Übertragung Wissens in pre-trained LMs

-> Umwandlung der commonsense-Tripletts in lesbare Sätze unter Verwendung eines pre-trained LM

-> KG-enhanced LM wird auf den umgewandelten Sätzen gefinetuned

Vorteil: Löst das Problem, dass word embeddings des input textes und entity embeddings aus KG in verschiedenen Vector Spaces sind

Nachteil: Betracht nur one hop relations zwischen den relaventen entities des KG

Retrieve: Templates aus einer Sammlung von Zusammenfassungen oder ähnlichen Dokumenten finden;

Rerank: Bestes Template identifizieren und auswählen;

Rewrite: Genauere und informativere Zusammenfassung oder Übersetzung generieren

Bei MRC (Machine Reading Comprehension) wird ein bestimmter Abschnitt aus einem Hintergrunddokument auf Antwort einer Frage extrahiert. Bei BBC (Background Based Conversation) muss die Antwort fließend und natürlich klingen. Es wird nicht nur der Text lokalisiert und kopiert, sondern der Hintergrundtext wird analyisiert und es werden neue Antworten generiert.

Summarization

z.B. Text -> Headline

Text -> Short Sentence

Question Generation

z.B. Text & Answer -> Question

Question Answering

z.B: Text & Question -> Answer

Dialog System

z.B. Dialog zweier Personen

ROUGE

BLEU

Human Evaluation