BERT

Bidirectional Encoder Representations from Transformers

Satzleveltasks:

• Beziehungen zwischen Sätzen vorhersagen, indem sie ganzheitlich untersucht werden

• BSP:

  • Natural Language Schlussfogerungen

  • Paraphrasieren

Tokenleveltasks:

• Model muss feinen Output auf Tokenlevel generieren

• BSP:

  • Eigennamenerkennung

  • Frage-Antwort Aufgaben

Feature based:

• nutzt aufgabenspezifische Architektur

• pretrainte Representationen

• zusätliche Features

Fine tuning:

• führen wenige aufgabenspezifische Parameter ein

• trainieren für downstream Task in dem alle pretrained Parameter finegetuned werden

• unidirektionale Architektur (z.B. von links nach rechts)

  • in den Self Attention Layers des Decoders kann jeder Token nur auf vorherige bezogen werden

BERT:

• nutzt masked language Ansatz für pretraining

  • lernt original Token ID der maskierten Tokens durch deren Kontext vorherzusagen

  • kann dafür Kontext von rechts und links einer Sequenz nutzen

• next Sentence predicition task

=>reduziert Notwendigkeit von komplexen Task spezifischen Architekturen

• erreicht sowohl in Token- als auch Sentencelevel Tasks State of the Art Performance

• pretrained Embeddings führen zu deutlicher Verbesserung zu neugelernten Embeddings

• links nach rechts LMs

  • bei nachfortgendem Wort korrekt und inkorrekt unterscheiden

• für gröbere Granularitäten wie Sentence Embeddings oder Paragraphembeddings

  • rank canidate next sentence

• ELMo = Predecessor

  • hatte recht nach links und links nach rechts Architketur

  • beides verketten => beidseite Representaion jedes Tokens

• Modelle werden mit kontextualer Tokenrepresentation an ungelabeltem Text gepretrained

  • superviesdes Finetuning für Downstream Task

=> nur wenige Paramenter müssen von null gelernt werden

• pre-training

  • Model wurde mit ungelabelten Daten über verschiedene Aufgaben trainiert

• fine tuning

  • Model wird mit Parametern aus pre-training initialisiert

  • mit gelabelten Daten für Downstream Task finegetuned

  • jeder Downstream Task hat eigene finegetunde Modelle die mit gleichen pretraining Parametern initialisiert werden

=> vereinheitliche Architektur über verschiedene Aufgaben

• nur minimale Unterschiede zwischen pre-trained Architektur und finalen Architektur

Outputrepresentationen

• in der Lage einzelne Sätze oder Satzteile in einer Tokensequenz zu representieren

  
  

• Satz kann willkürliche Textspanne sein

• Sequenz ist Inputtokensequenz

  • einzelner Satz

  • Satzpaar durch [SEP] Token getrennt

    • jeder Token erhält Embedding ob es zu Satz A oder B gehört

• WordPiece Embeddings mit 30000 Wörtern als Vokabular

• Erster Token der Sequenz [CLS]

Modelle vor BERT

• in Standartmodellen nur lernen von links nach rechts

  • sonst könnte jedes Wort sich selbst sehen

  • einfach nächstes Wort zu erraten

BERT

• 15% zufällige Tokens werden maskiert -> müssen erraten werden

• die finalen hidden Vektoren die den maskierten Tokens entsprechen werden in Output Softmax über das Vokabular durchgeführt

=> Es werden nur maskierte Wörter erraten dann ganzer Input konsturiert

• Missmatsch zwischen Pretraining und finetuning, da [MASK] Token im Finetuning nicht auftaucht

• Lösung:

  • nich alle vom Trainingsgenerator gewählten Tokens werden auch maskiert

• der ithe Token wird ausgetauscht durch:

  • 80% dem [MASK] Token

  • 10% einem random Token

  • 10% Originaltoken wird behalten

• Ti wird genutzt um mittels Cross entropy loss den Originaltoken zu ermitteln

• Viele Downstram Tasks, wie Fragen beantworten beruhen darauf Beziehungen von Sätzen untereinander zu verstehen

• Sätze A und B werden ausgetauscht

  • 50% der Zeit ist B tatsächlich der Satz der auf A folgt (is next)

  • 50% ist B zufälliger Satz aus dem Trainingskorpus (not next)

=> wichtig für Frage Antwort Aufgaben und NL interpreting

• der Self-Attention Mechanismus ist in der Lage viel Downstream Aufgaben zu modelieren

• bisherige Aplikationen:

  • erst Textpaare encoden

  • dann bidirektionale Cross attention darauf angewendet

=> BERTs self-Attention Mechanismus vereinigt beide Schritte

• denn Verkettetes Textpaar mit self-Attention zu encoden beinhaltet effektiv bidirektionale Cross attention

• für jede Aufgabe werden die spezifischen Inputs & Outputs BERT gefüttert und alle Parameter end-to-end gefinetuned

• Satz A und B sind analog zu Input

  • Satzpaaren bei Paraphrasieren

  • Fragen Antwort Paare

• Für Tokenlevel-Tasks werden die Tokenrepresentationen in einen Outputlayer gefüttert

• [CLS] in Outputlayer -> dient als Klassifikation

=> verglichen mit Pretraining ist finetuning günstig

• General Language Unterstanding Evaluation

• Kollektion verschiedener NL Verständnisaufgaben

• Sowohl BERTlarge als BERTbase outperformten alle Systeme in allen Aufgaben

• BERTlarge outperformte BERTbase in allen Augaben vor allem in denen mit kleinen Datensätzen

• Standford Question Answering Datenset = Kollektion von 100k Crowdsourceden Frage Antwort Paaren

• Es wird Frage und Abschnitt aus Wikipedia gegeben

  • Spanne der Antwort muss aus Abschnitt rausgesucht werden

• Frage nutzt Embedding A, Antwort Embedding B

  • Startvektor S und Endvektor E werden während dem finetuning eingeführt

• Wahrscheinlichkeit das Wort i der Start der Antwortspanne ist, wird berechnet:

  • Dotprodukt aus Ti und S gefolgt von Softmax über ganzen paragraphen

  • Ende der Antwortspanne genauso berechnet

  • Score für Antwortspanne von i nach j berechnet

=> BERT outperformte alle exsistierenden Systeme deutlich

• erweitert SQuAD 1.1 um die Möglichkeit, dass keine Antwortmöglichkeit in dem Paragraph existiert

=> macht das Problem realistischer

• die Antwortspanne für keine Antwort begrinnt und endet beim [CLS] Token

  => Wahrscheinlichkeitsspanne wurde so erweitert, dass [CLS] Token miteinbezogen wurde

• Vorhersage:

  • S*C+E*C = Snull = keine Antwortspanne

  • Verglichen mit Wert der besten Antwortspanne die nicht 0 ist si,j

=> eine nicht Null Antwort wird angenommen, wenn si,j > snull

= Situations with adversavial Generations

• die plausieblste von 4 Optionen aussuchen, wie eine Passage weitergeht

• Eingeführter Parameter

  • Vektor aus Skalarprodukt aus [CLS] Token (representiert einen Score für jede Wahl)

  • normalisiert mit Softmax

• wird genutzt um den Effekt der Pre-Training Aufgaben für BERT festzusellen

• es werden die gleichen Daten, fine-tuning schemen und Hyperparameter wie bei BERT-Base verwendet

Welche Ablationsstudien wurden durchgeführt?

• keine NSP = Model wird auf maskierte Tokens trainiert, ohne next Sentence Prediction

• weglassen des MLM = left-to-right model, ebenfalls ohne next sentence Predicition (ähnlich zu chatgpt)

  
  

• entfernen des NSP Tasks

  • Reduzierte Performance in QNLI, MNLI, SQuAD v1.1

• LTR Model

  • performte schlechter als MLM Modell

• theoretisch könnte man auch LTR und RTL Model seperat trainieren und jeden Token als Verknüpfung der beiden Trainingsansätze betrachten

  • doppelt so teuer

  • nicht intuitiv

  • weniger Leistungsfähig als tiefes bidirektionales Model

• großere Modelle führten zu Verbesserung bei allen 4 Datensätzen, auch kleinen Datensätzen

• Vergrößern des Hidden Size führte zur Verbesserung bei großangelegten Aufgaben

  • Übersetzung

  • Language Modeling

  => scaling zu größeren Modellgrößen verbessert auch die Leistung bei sehr kleinen Aufgaben

• es werden fixe features aus dem pre-traintend Model extrahiert und gemeinsam auf Downstram Task trainiert

• nicht jede Aufgabe kann einfach mit Encoder dargestellt werden

  • deshalb anhängen von aufgabenspezifischen Architektur

• kann günstiger sein, da nicht alle Parameter finegetuned werden

  • viele kleine Modelle für kleine Aufgaben

=> BERT performed feature based ähnlich wie state-of -the art-modelle

• sind unidirektionale Modelle

• maskieren Tokens nach dem aktuellen Token (vor Softmax auf - unendlich)

=> Aufgabe immer den nächsten Token vorhersagen

=> generieren neuen Text

• Maskieren random eine bestimmte Anzahl (15%) der Tokens des Inputs

  • anhand des Kontexts der anderen Tokens müssen maskierte Tokens erraten werden

=> produzieren keinen Text

=> gut in Fragen beantworten, Klassifizierungsaufgaben, Labeling Tasks

• Wöter oder Phrasen sind aus dem Text entfernt und müssen erraten werden

• kontextuelles lernen

  • nicht nur das Wort selbst sondern auch Kontext muss verstanden werden

• überprüft Verständnis von Vokabular in Kontext

• MLM ist praktisch Cloze Task

• kann guter Classifier sein, wie viel Kontext ein Model gelernt hat

• besitzen sowohl Encoder als auch Decoder Element

• Self-Attention im Encoder kann kompletten Input betrachten

• Output des letzten Encoder Teil des Decoder Inputs

• Decoder darf nur vorangegangen Token betrachten

  
  

=> gut für Aufgaben wie Übersetzungen

=> braucht Kontext und Word Predictions

• erstellt Embeddings für Wörter und Inputsequenzen abhängig von ihrem Kontext

  • Gegensatz für fixe Wortembeddings die kontextunabhängig genutzt werden

=> Nutzt bidirektionales LSTM, das spezifisch trainiert wurde um diese Embeddings zu erstellen

• wird durch next word prediction trainiert

  • einmal in forward, einmal in backward model

=> versteht nicht nur nicht nur vorangegange Wörter sondern auch kommende

=> grupiert hidden States für jedes Wort von forward und backward Embeddings

• Misst Performance eines Klassifikationsmodells, dessen Output zwischen 0 und 1 liegt

  • Wahrscheinlichkeinten für mögliche Outputs angibt

• erhöht sich, wenn Vorhersage weiter von richtigem Label entfernt ist

• bestraft vor allem deutlich falsche Vorhersagen

=> Ziel Wert der Kreuzentropie zu verringern = bessere Modelllesitung

• es wird Fehler zwischen 2 Wahrscheinlichkeitsverteilungen gemessen

• wenn p hoch ist wird l niedrig -> Model wird belohnt

  • Standpunkt das Vorhersage zu Label passt

= Skalarprodukt

• Multiplikation 2er Vektoren -> ergibt reele Zahl

= Bidirektional Long short term Memory

• Typ von RNN das sequenziell Daten forward und backward prozessiert

  => erlaubt Model sowohl vorangegangen, als auch zukünftigen Kontext festzuhalten

LSTM

• Für Erkennung von Long term Abhänigkeiten

  • nutzt Mechanismen um selektiv Informationen zu merken und zu vergessen

Bidirektionalität

• einen Forward und backward layer mit eigenen hidden states und weights

• Text Klassifikation

  • Text in vorher definierte Kathegorien filtern (Spam, Reddit-Post flaggen)

• Frage-Antwort

  • kann aus vorgegebenem Text relevantesten Abschnitt als Antowort aussuchen

• Named Entity Recognition (NER)

  • Identifizieren und Klassifizieren von Entitis wie Menschen, Organisationen, etc.

• Paraphrase Detektion

  • kann erkennen ob Sätze paraphrasiert sind

• Textual Entailment

  • kann erkennen ob Sätze logisch aufeinander folgen

• in DNA beeinflussen Motive oder long range dependencies die Regulation sowohl up- als auch downstream

  => Bidirektionale Attention ist wichtig

• sehr gut in Erkennungs- und Klassifizierungsaufgaben

  • Motive erkennen

  • Sequenzen Klassifizieren

    • gehören zu bestimmtem Protein

    • Exon/Intron

    • Funktionale Elementbestimmung

• sehr gut in Sequenzalignement Aufgaben

  • da berücksichtigen von beidseitigem Kontext

  => ABER in Sequenz vorhersagen/Lücken in Sequenzen füllen GPT besser

• Mutations- und Varianten Effektbestimmung

  • versteht Auswirkung von Mutation in Kontext zur Sequenz