Worum handelt es sich bei Natural Language Processing?
Methoden zur Verarbeitung natürlicher Sprache
Ziel: direkte Kommunikation zwischen Mensch und Maschine
Herausforderungen:
-> Sprache ist unterschiedlich, komplex und mehrdeutig
-> Sprache umfasst gesprochene und geschriebene Sprache
-> Kommunikation erfordert ein Verständnis von kompletten Textzusammenhängen
Wofür steht NLP
Natural Language Understanding
(wichtig!)
Befasst sich mit dem Verständnis von natürlicher Sprache. Ziel ist die Kodierung und Extraktion von Informationen in Texten.
z.B. Question Answering
Typische Architekturen
BERT - Biderectional Encoder Representations from Transformers
Masked Language Model: BERT maskiert 15% der Worte im Input und lässt das fehlende Wort vorhersagen.
Next Sentance Prediction: BERT bekommt 2 Sätze im Input und sagt die Reihenfolge voraus.
Natural Language Generation
Befasst sich mit dem Erstellen von texten auf Grundlage von linguistischen Regeln.
z.B. Chatbots
Korrekte Aussagen:
Transformer und Netzwerke erlauben mehr Parallelität als bspw. LSTMs
Attention ist eine Technik um die kognitive Aufmerksamkeit nachzuahmen
Die höhere Parallelität der Transformer NN führt zu einer kürzeren Trainingszeit
Mit der Technik der Attention lernt der Computer die Beziehungen der Beziehungen eines Wortes
Transformer Netzwerke werden vor allem im Bereich von NLP verwendet
Mit der Technik der Attention lernt der Computer die Beziehungen eines Wortes
Welche Aussage zum Bag-of-Words Model ist korrekt?
Für was steht LSTM?
Welche Funktionen haben Gates in einem LSTM Modell? (Mehrfachauswahl)
Was sind die gesuchten Wörter?
1 - Output
2 - Neuron
3 - Input
Welche Limitationen hat Word2Vec?
Was versteht man unter “Attention”
Welche Vorteile bieten Transformer Modelle im Vergleich zu RNNs? (Mehrfachauswahl)
Encoder um Texte zu vergleichen.
-> Beste als Plagiatsprüfer
Für was steht BERT ?
Bidirectional
Encoder
Representations
(from) Transformers
Was ist kein Baustein des LSTM?
Welche Aussage über GPT trifft zu?
Wie unetrscheiden sich BERT und GPT? (Mehrfachantworten)
Was ist ein Beispiel für ein Encoder Modell?
Was hat den größten Einfluss auf die Akkurität von GPT (3)
Welche LSTM Architektur wird hier dargestellt?
one-to-many
Was trifft am besten zur Aufgabe des IBM Watson zu?
Für was steht RNN
Was stimmt nicht?
Prompting
Interaktion mit einem Transformer ohne Optimierung.
Prefix beschreibt Aufgabe in natürlicher Sprache;
Prompt entspricht der Eingabe
Last changed2 months ago
