06 Voice Biometrics

Traditionelle Systeme verwenden log Mel-Filterbank-Features und CNNs wie ResNet oder ECAPA-TDNN, während wav2vec 2.0 die Features durch maschinelles Lernen erzeugen und Transformer-basierte Architekturen verwendet.

—-> basically end2end system ???

Das CPC-Pre-Training ermöglicht es, große Mengen an unbeschrifteten Daten zu nutzen, um robuste Sprachrepräsentationen zu lernen, die später für spezifische Aufgaben wie Sprechererkennung feinabgestimmt werden können.

CPC:

1. Ziel: Die Methode versucht, nützliche Repräsentationen von Daten zu lernen, indem sie eine Vorhersageaufgabe formuliert: Basierend auf einem Kontextvektor (z. B. aus vergangenen Daten) soll vorhergesagt werden, wie zukünftige Daten aussehen.

2. Vergleich zu anderen Methoden: Im Gegensatz zu traditionellen Autoencoder-basierten Ansätzen rekonstruiert CPC nicht die Rohdaten, sondern maximiert die gegenseitige Information zwischen dem Kontext und zukünftigen Daten.

Datenaugmentation verbessert die Robustheit und Generalisierbarkeit des Modells, indem es die Vielfalt der Trainingsdaten erhöht. Hier wurden Techniken wie MUSAN additive noise, RIR convolution, Frequency masking und Time masking verwendet.

Ein Label, das aus ungelabelten Daten generiert wird und weniger zuverlässig ist als manuell gelabelte Daten

Weak Labels werden durch textuelles Entailment mit Hilfe vortrainierter großer LLMs generiert.

Die Fähigkeit des Modells etwas korrekt zu klassifizieren, ohne zuvor auf dem spezifischen Datensatz trainiert worden zu sein.

Weak Emotion Labels generieren und diese zum Pre-Training von SER-Modellen zu verwenden, um kostspieliges manuelles Labeln zu reduzieren

SER: Speech Emotion Recognition

LanSER Ansatz:

Hauptkomponenten von LanSER:

1. Transkription: Sprachaufnahmen werden mittels automatischer Spracherkennung (ASR) in Text umgewandelt.

2. Schwache Label-Generierung: Ein vortrainiertes Sprachmodell analysiert die Transkripte und weist ihnen basierend auf einem Textual-Entailment-Ansatz Emotionen zu. Dabei wird die Emotion mit der höchsten Übereinstimmung zum gegebenen Text ausgewählt.

3. Modell-Training: Das SER-Modell wird mit diesen schwachen Labels vortrainiert und anschließend auf spezifischen, gelabelten Datensätzen feinabgestimmt.

Out-of-domain Speakers führen zu Speaker Overfitting → das kann als few-shot learning Problem angesehen werden → Paper benutzt Pre-Finetuning Ansatz

-> Füge einen zweiten in-domain Pre-Training Schritt zu einem broad domain pre-trained Sprachmodell (e.g. Wav2Vec2)

→ Benutzt mehrere Corpora für Pre-Finetuning welche näher an dem Downstream-Task liegen

Gott:

Detaillierte Beschreibung:

1. Allgemeines Vortraining:

   • Modelle wie Wav2Vec2.0 oder andere Sprachmodelle werden auf großen, allgemeinen Sprachdatensätzen vortrainiert, um grundlegende sprachliche Repräsentationen zu lernen.

   • In dieser Phase erlernt das Modell grundlegende Merkmale wie Phoneme, Silben und andere allgemeine Sprachstrukturen.

2. Pre-Finetuning:

   • Das vortrainierte Modell wird auf eine breite Menge an Daten aus ähnlichen, aber nicht identischen Aufgaben angepasst. In diesem Fall sind es mehrere emotionale Sprachkorpora (z. B. MSP-IMPROV, MSP-PODCAST).

   • Ziel ist es, das Modell dazu zu bringen, Emotionen aus Sprache zu erkennen, indem es eine Vielzahl von Emotionen und Sprechern „sieht“. Dabei wird das Modell auf eine größere Aufgabe vorbereitet, die näher an der endgültigen Zielaufgabe liegt.

   • Durch diese Phase wird das Modell auf den "Few-Shot"-Einsatz vorbereitet und lernt robustere Merkmale, die besser generalisieren.

3. Fine-Tuning:

   • Nach dem Pre-Finetuning wird das Modell mit wenigen gelabelten Beispielen auf die spezifische Zielaufgabe angepasst. In diesem Fall wäre das die Emotionserkennung für eine kleine Anzahl von Sprechern oder auf einem spezifischen Datensatz (z. B. Emotional Speech Dataset).

Im Fall von Pre-Finetuning wird Multi-Task Learning umgesetzt, indem das Modell gleichzeitig auf mehreren Aufgaben oder Datensätzen trainiert wird, die verschiedene, aber verwandte Ziele verfolgen.

Umsetzung:

• Gemeinsame Repräsentation: Das Modell lernt eine universelle, robuste Repräsentation, die über verschiedene Aufgaben hinweg nützlich ist.

• Aufgabenspezifische Ziele: Jede Aufgabe (z. B. Emotionserkennung in verschiedenen Datensätzen) hat ihren eigenen Verlust, und die Gesamtverluste werden kombiniert, um das Training zu steuern.

• Datenintegration: Daten aus mehreren Quellen (z. B. MSP-IMPROV, IEMOCAP) werden in einem einzigen Training zusammengeführt.

• Dynamisches Sampling: Aufgaben oder Datensätze können unterschiedlich stark gewichtet werden, um die Balance zwischen den Aufgaben sicherzustellen.

Durch Multi-Task Learning im Pre-Finetuning wird das Modell auf eine breite Vielfalt von Emotionen und Sprechern vorbereitet, was die Generalisierung auf neue Daten verbessert.

small-scale Pre-Finetuning verbessert die Performance des Downstream-Tasks

→ je mehr Pre-Finetuning Corpora desto besser

→ Critical Point Observation: Pre-Finetuning auf zu wenig Corpora (<2) führt zu einem Einbruch der Generalisierung

Der Prozess der Diarization mit d-Vektoren umfasst das Segmentieren des Audios, Extrahieren von d-Vektor-Embeddings mit einem LSTM-Netzwerk und anschließendes Clustern der Embeddings zur Identifikation der Sprecher. d-Vektoren sind tiefenlernbasierte Audio-Embeddings, die eine verbesserte Sprecherverifikation durch LSTM-Netzwerke ermöglichen

Online-Clustering gibt das Sprecherlabel sofort aus, sobald ein Segment verfügbar ist, ohne zukünftige Segmente zu berücksichtigen, während Offline-Clustering die Sprecherlabel erst nach Verfügbarkeit aller Segment-Embeddings bestimmt

Es gibt naive Online-Clustering, Links Online-Clustering, K-Means Offline-Clustering und Spectral Offline-Clustering.

Naive Online-Clustering ist einfach, aber ungenau;

Links Online-Clustering verbessert dies durch probabilistische Modellierung.

K-Means ist weit verbreitet, leidet jedoch unter Nicht-Gaussianität und Ungleichgewicht der Cluster, während

Spectral Clustering diese Probleme durch eine nicht-parametrische Methode mildert

Der Prozess des Spectral Offline Clustering umfasst das Erstellen einer Affinitätsmatrix, Anwenden von Verfeinerungsoperationen wie Gaussian Blur und Zeilenschwellenwerten, Symmetrisierung und Diffusion der Matrix, sowie die anschließende Eigenwertzerlegung und Clustering der resultierenden Embeddings