01 ASR

Conformer kombiniert CNNs und Transformer, um lokale als auch globale Abhängigkeiten in Audiosequenzen zu modellieren. Dies führt zur besseren ACC und Performance

Lokale und globale Feature-Patterns können mit einem Conformer-Modell dargestellt werden. Der Conformer kombiniert Convolutional Neural Networks (CNNs) und Transformer-Architekturen, um sowohl lokale als auch globale Abhängigkeiten in Audiosequenzen zu modellieren.

Transformers sind gut darin, globale, kontextbasierte Interaktionen zu erfassen.

CNNs sind effizient in der Extraktion von lokalen Feature-Mustern.

Der Conformer vereint diese beiden Technologien:

Convolution Module: Erfasst lokale Abhängigkeiten.

Multi-Headed Self-Attention Module: Modelliert globale Interaktionen.

Feed Forward Module: Erhöht die Modellkapazität und -flexibilität.

Durch die Integration dieser Module kann der Conformer sowohl feingranulare lokale als auch weitreichende globale Muster in den Daten erkennen und verarbeiten

Conformer Modul:

Nein, aufgrund der self-attention

Besonderheiten der GLU-Aktivierung:

Gating Mechanismus: Teilt die Ausgabe in zwei Pfade - einen linearen und einen sigmoid-gesteuerten Pfad.

Nichtlinearität: Ermöglicht komplexere Funktionen durch die Kombination von linearen und nichtlinearen Transformationen.

Effiziente Modellierung: Reduziert Rechenkomplexität und erhöht Ausdruckskraft.

Funktionsweise der GLU-Aktivierung:

GLU (a, b) = a ⊗ σ(b)

Lineare Transformationen: Eingabe wird in a und b transformiert. Sigmoid-Funktion: b wird durch die Sigmoid-Funktion geleitet.

Elementweise Multiplikation: a wird mit σ(b) multipliziert.

Vergleich mit der Swish-Aktivierung:

Swish-Aktivierung:

Swish(x) = x ⋅ σ(x)

Glatt und differenzierbar: Bessere Gradienteneigenschaften.

Tiefe Netzwerke: Reduziert das Vanishing-Gradient-Problem.

Zusammenfassung:

GLU: Selektive Informationsweiterleitung durch Gating.

Swish: Glatte Aktivierung, gut für tiefe Netzwerke

• ohne Contrastive Modul lernt MLM nichts sinnvolles

• kontrasive Modul wandelt kontinuierliche Spracheingaben in eine endliche Menge diskreter, unterscheidbarer Sprach-Tokens um

• Tokens werden dann im MLM verwendet, um kontextualisierte Sprachrepräsentationen zu lernen.

• Ohne das kontrasive Modul würde das MLM auf den rohen, kontinuierlichen Sprachdaten arbeiten, was dazu führen könnte, dass das Modell triviale Lösungen findet, bei denen keine sinnvolle Repräsentationen gelernt werden.

Die w2v-BERT-Experimente zeigen, dass das MLM ohne das kontrasive Modul dazu neigt, auf einfache Lösungen zurückzugreifen und keine nützlichen Repräsentationen zu lernen. Diese triviale Lösung besteht darin, dass das Modell versucht, alle maskierten Positionen auf denselben Codevektor zu quantisieren, wodurch das eigentliche Lernziel umgangen wird. Das kontrasive Modul stellt sicher, dass die Sprach-Tokens diskret und unterscheidbar sind, was das Lernen von sinnvollen und kontextualisierten Repräsentationen ermöglicht

Latent Space & Codebook:

Contrastive Learning: Das kontrasive Modul transformiert die kontinuierlichen Spracheingaben in eine diskrete Menge von Sprach-Tokens. Diese Tokens bilden ein Codebook, das die verschiedenen diskreten Einheiten der Sprache repräsentiert. Dieses Codebook ist entscheidend, um sicherzustellen, dass die Sprachrepräsentationen unterscheidbar und informativ sind.

MLM: Das MLM nutzt diese diskreten Tokens aus dem Codebook als Vorhersageziele. Es trainiert das Modell darauf, den Kontext der Sprache zu verstehen, indem es maskierte Positionen innerhalb der Sprachsequenzenvorhersagt. Dadurch lernt das Modell kontextualisierte Repräsentationen, die die sprachlichen Beziehungen und Bedeutungen einfangen.

Kontext & Vokabular:

Contrastive Learning: Durch die Diskretisierung der Spracheingaben stellt das kontrasive Modul sicher, dass das Modell eine klare und strukturierte Darstellung der Sprachdaten erhält. Dies schafft eine Grundlage für das Erlernen von Kontextinformationen, da die Tokens klare, diskrete Einheiten sind, die in verschiedenen Kontexten wiederverwendet werden können.

MLM: Das MLM nutzt die diskreten Tokens, um kontextabhängige Repräsentationen zu lernen. Indem es maskierte Positionen in einer Sequenz vorhersagt, zwingt es das Modell dazu, den umliegenden Kontext zu berücksichtigen und ein tieferes Verständnis der sprachlichen Struktur und Bedeutungen zu entwickeln.

Durch die Kombination von kontrasivem Lernen und MLM erreicht w2v-BERT eine effektive und robuste Vorverarbeitung von Sprachdaten, die zu besseren und kontextualisierten Sprachrepräsentationen führt, was letztendlich die Leistung bei nachgelagerten Aufgaben wie der automatischen Spracherkennung (ASR) verbessert

1. Feature-Extraktion: Sprachsignal → Hochdimensionale Repräsentationen (mit HuBERT/Wav2Vec 2.0).

2. Diskretisierung: k-Means-Clustering wandelt diese Repräsentationen in diskrete Spracheinheiten um.

3. Sequenzoptimierung: Deduplikation und Subword-Modellierung reduzieren die Länge der diskreten Sequenzen.

   • Deduplikation: Wiederholte, aufeinanderfolgende diskrete Einheiten werden zu einer einzigen Einheit zusammengefasst. 

   • Subword-Modellierung: Methoden wie Byte Pair Encoding (BPE) werden verwendet, um die diskreten Sequenzen weiter zu komprimieren und sprachliche Muster besser zu erfassen.

4. Endausgabe: Die diskreten Sequenzen repräsentieren das Sprachsignal in komprimierter Form und dienen als Grundlage für Sprachverarbeitungsaufgaben.

Zusammenfassung

• Vorteile: Effizienz, Robustheit, bessere Generalisierung, Flexibilität und einfachere Integration.

• Nachteile: Informationsverlust, Abhängigkeit von der Diskretisierungsqualität und mögliche Schwierigkeiten bei Aufgaben mit feinen Unterschieden oder langen Abhängigkeiten.

Das Paper betont, dass die Wahl der Diskretisierungsmethode entscheidend ist, um die Nachteile zu minimieren und die Vorteile zu maximieren.

Vorteile der Diskretisierung

1. Trainingseffizienz:

   • Diskrete Spracheinheiten komprimieren die Daten, indem redundante Informationen entfernt werden.

   • Dies führt zu einer erheblichen Reduktion der Sequenzlänge und damit zu einer schnelleren Verarbeitung und geringeren Speicheranforderungen.

2. Robustheit gegenüber Rauschen:

   • Die Diskretisierung abstrahiert von feinen Details im Signal, die möglicherweise durch Rauschen verursacht werden.

   • Dadurch sind die resultierenden Modelle robuster und liefern konsistentere Ergebnisse, insbesondere bei Aufgaben wie Spracherkennung und Übersetzung.

3. Bessere Generalisierungsfähigkeit:

   • Diskrete Repräsentationen fassen ähnliche Muster zusammen, was die Fähigkeit der Modelle verbessert, auf unbekannten Daten zu generalisieren.

4. Einfachere Modellintegration:

   • Diskrete Einheiten können wie Tokens in der Verarbeitung natürlicher Sprache (NLP) verwendet werden, was die Integration in bestehende NLP-Modelle erleichtert (z. B. Transformer-Modelle).

5. Flexibilität in der Anwendung:

   • Die gleichen diskreten Einheiten können über verschiedene Sprachverarbeitungsaufgaben hinweg genutzt werden (z. B. ASR, ST, SLU), was eine einheitliche Grundlage für Multitasking-Modelle schafft.

Nachteile der Diskretisierung

1. Informationsverlust:

   • Während der Diskretisierung werden einige Details des ursprünglichen Signals verworfen. Das kann zu einem Verlust von Informationen führen, die für bestimmte Aufgaben wichtig sind, z. B. Prosodie oder emotionale Nuancen.

2. Abhängigkeit von der Clusterqualität:

   • Die Qualität der diskreten Repräsentationen hängt stark vom verwendeten Clustering-Algorithmus (z. B. k-Means) und der Wahl der Clusteranzahl ab. Schlechte Cluster führen zu suboptimalen Modellen.

3. Potentielle Überglättung:

   • Diskrete Repräsentationen können Unterschiede zwischen ähnlichen, aber nicht identischen Sprachsignalen nivellieren, was die Modellleistung in feinskaligen Aufgaben (z. B. Phonemerkennung) beeinträchtigen kann.

4. Herausforderungen bei der Modellierung längerer Abhängigkeiten:

   • Die Abstraktion durch Diskretisierung kann es schwieriger machen, komplexe und längerfristige Abhängigkeiten im Sprachsignal zu modellieren.

5. Erhöhter Aufwand für Vorverarbeitung:

   • Der Diskretisierungsprozess selbst (z. B. das Trainieren eines k-Means-Modells oder eines selbstüberwachten Encoders) erfordert zusätzlichen Aufwand und Ressourcen.

Sprecherdifferenzierung

• Ziel: Contrastive Learning hilft dabei, Merkmale zu lernen, die verschiedene Sprecher eindeutig voneinander unterscheiden.

• Sprechermerkmale wie Stimmfarbe, Intonation und Sprechgeschwindigkeit werden durch kontrastive Vergleiche zwischen positiven und negativen Paaren modelliert.

• Positive Paare: Segmente derselben Sprecheräußerung oder Äußerungen desselben Sprechers.

• Negative Paare: Äußerungen von unterschiedlichen Sprechern

Der Abstand zwischen den Samples desselben Sprechers würde maximiert werden, was zu unerwünschten Ergebnissen führt.

Gegen die Embeddings der letzten Trainings-Iteration.

Aus den Single-Speaker Utterances können so multi-Speaker Utterances erzeugt werden, wobei die Utterance eines Speakers dominant ist. Somit wird das Modell robuster gegenüber Multi-Speaker-Utterances.

Diarization bestimmt, wer wann spricht, und partitioniert eine Tonspur in Segmente mit Sprecherinformationen.

Die Bereitstellung von LSTM-basierten Encoder-Modellen auf Smart-Geräten stellt mehrere Herausforderungen dar:

Rechenleistung und Speicher: LSTM-Modelle erfordern erhebliche Rechenressourcen und Speicherplatz. Smart-Geräte verfügen jedoch häufig über begrenzte Hardwarekapazitäten, was die effiziente Ausführung dieser Modelle erschwert.

Energieverbrauch: LSTM-Modelle sind aufgrund ihrer Komplexität und der Notwendigkeit, sequenzielle Daten zu verarbeiten, energieintensiv. Dies kann die Batterielaufzeit von Smart-Geräten erheblich verkürzen.

Latenz: Echtzeit-Anwendungen wie Sprachassistenten benötigen eine niedrige Latenz, was bei der Nutzung von LSTM-Modellen aufgrund ihrer hohen Berechnungsanforderungen eine Herausforderung darstellt.

Datenübertragung: Die Übertragung großer Datenmengen zwischen dem Gerät und der Cloud zur Verarbeitung kann zu Verzögerungen führen und erfordert eine stabile Internetverbindung.

Diskrete Spracheinheiten: Anstelle von hochdimensionalen kontinuierlichen Sprachmerkmalen werden diskrete Spracheinheiten verwendet, die die Größe derSprachdaten erheblich komprimieren und somit den Speicherbedarf und die Berechnungsanforderungen reduzieren.

Deduplikation und Subwort-Modellierung: Diese Techniken reduzieren die Eingabesequenzlängen, indem sie redundante und häufig vorkommende Einheiten zusammenfassen. Dadurch wird die Trainings- und Inferenzzeit verkürzt.

Konvolutionales Subsampling: Ein konvolutionales Subsampling-Schicht wird eingeführt, um die Sequenzlänge zu verkürzen, was die Berechnungskosten reduziert, ohne die Leistung zu beeinträchtigen.

Verwendung von SSL-Modellen: Selbstüberwachtes Lernen (SSL) wird zur Merkmalsextraktion eingesetzt, um robustere und effizientere Merkmale zu erhalten, die zur Bildung diskreter Einheiten verwendet werden können

Modellgröße: Die Verwendung diskreter Spracheinheiten reduziert die Modellgröße erheblich, da die ursprünglichen hochdimensionalen Merkmale auf eine viel kleinere Darstellung komprimiert werden.

Off-Chip-Speicherzugriffe: Durch die Reduzierung der Eingabesequenzlängen und der Datenkompression verringert sich die Anzahl der Off-Chip Speicherzugriffe, was die Verarbeitungsgeschwindigkeit erhöht und den Energieverbrauch senkt.

Modellgenauigkeit: Die Optimierungen zeigen, dass die Verwendung diskreter Einheiten zu vergleichbaren oder in einigen Fällen besseren Genauigkeiten führt im Vergleich zu traditionellen Ansätzen. Die Experimente im Paper zeigen, dass die Genauigkeit der diskreten Einheiten in den meisten Fällen zwischen den Ergebnissen von FBank und SSL-Merkmalen liegt, oft näher an den SSL-Ergebnissen

Um LSTM durch CIFG (Coupled Input-Forget Gate) zu ersetzen, wird eine spezielle Form des LSTM-Modells verwendet, bei dem die Input- und Forget-Gates kombiniert werden. Dies reduziert die Anzahl der Parameter und die Berechnungsanforderungen, während die Modellleistung beibehalten oder sogar verbessert werden kann. CIFG vereinfacht die Gate-Struktur des LSTM, was zu effizienteren und leichteren Modellen führt

Video-Kontext kann in die automatische Spracherkennung (ASR) durch die Verwendung eines multimodalen Vortrainingsmodells, wie das im Paper vorgestellte AV- BERT, einbezogen werden. Dieses Modell nutzt sowohl Audio- als auch Videodaten, um reichhaltige Umgebungsrepräsentationen zu lernen.

Schritte:

1. Modale Spezifische Convolutionen: Sowohl Audio- als auch Videodaten werden in Patches unterteilt und durch modality-spezifische Convolutionen in eine einheitliche Dimension eingebettet.

2. Spatio-Temporal Position Embeddings: Für die Videodaten werden spatio- temporale Positionsembeddings angewendet, die dabei helfen, die räumliche und zeitliche Information der Video-Frames zu kodieren.

3. Multimodaler BERT-Encoder: Die eingebetteten Patches von Audio und Video werden entlang der zeitlichen Achse concatenated und durch einen multimodalen BERT-ähnlichen Encoder geleitet, der eine vollständige Cross-Attention zwischen allen Punkten in den Audio- und Videodaten ermöglicht.

4. Masked Language Modeling (MLM): Das Modell wird mit einer MLM-Objektive vortrainiert, bei der es darum geht, maskierte Teile der Eingabesequenz vorherzusagen. Dies hilft dem Modell, lokale Repräsentationen zu lernen, die gleichzeitig global kontextualisiert sind.

5. Deep-Fusion Cross-Attention: Die aus dem AV-BERT-Modell gelernten Repräsentationen werden in ein ASR-Modell integriert. Hierbei wird eine Deep-Fusion Cross-Attention-Schicht verwendet, die den ASR-Decoder ermöglicht, auf die globalen kontextuellen Informationen zuzugreifen, die durch das AV-BERT-Modell gelernt wurden

Die progressive Masking Technik ist ein Ansatz zur schrittweisen Steigerung der Maskierungsrate und -größe während des Trainings, um das Modell von lokalen zu globalen Repräsentationen zu führen.

Schritte:

1. Initiale Maskierungsrate und -größe: Das Training beginnt mit einer Maskierungsrate von 15% und einer Maskierungsbreite von 1. Dies bedeutet, dass zu Beginn des Trainings nur 15% der Token maskiert werden und jede Maske nur einen Token breit ist.

2. Schrittweise Erhöhung: Im Laufe des Trainings wird sowohl die Maskierungsrate als auch die Maskierungsbreite schrittweise erhöht.3. Exponentieller Anstieg: Die Maskierungsrate und -größe folgen einem exponentiellen Anstieg. Alle 10.000 Optimierungsschritte wird die Maskierungsbreite erhöht und die Maskierungsrate zurückgesetzt. Am Ende des Trainings beträgt die Maskierungsbreite 11 und die Maskierungsrate 45%.

Lernziel: Durch diesen progressiven Ansatz wird das Modell zuerst dazu ermutigt, lokale Repräsentationen zu lernen. Mit der zunehmenden Maskierungsgröße wird das Modell dann gezwungen, globale Zusammenhänge zu lernen, da größere Teile der Eingabesequenz maskiert werden und das Modell diese rekonstruieren muss. Diese Technik hilft, eine Balance zwischen dem Lernen von lokalen und globalen Repräsentationen zu finden, indem das Modell zunächst lokale Muster erkennt und dann allmählich lernt, diese in einen globalen Kontext zu setzen.