Kartenstapel

+sehr schnell

+Lineare Frequenzauflösung ist einfach zu analysieren

- Fensterfunktionen sind notwendig.

-Das Spektrum wird nur für eine Menge von (diskreten) Frequenzen analysiert

-Logarithmische Frequenzauflösung, z. B. für Bode-Diagramme oder psychoakustische Messungen, ist nicht direkt (einfach) auszuwerten

Eine kleinere Fenstergröße führt zu einer besseren Zeitauflösung.

Eine größere Fenstergröße führt zu einer besseren Frequenzauflösung.

Zeitauflösung und Frequenzauflösung können nicht gleichzeitig beliebig gut sein.

Der Nenner ist größer oder gleich Null. Die Addition einer kleinen positiven Zahl verhindert eine Division durch Null, ohne die von Null verschiedenen Elemente des Nenners zu stark zu beeinflussen.

Ja, die menschliche Stimme bleibt für verschiedene Bereiche der Zeitdehnung (Time-Stretching) verständlich. Die Verdopplung der Geschwindigkeit (TimeStretchFactor=0,5) und die Halbierung der Geschwindigkeit (TimeStretchFactor=2,0) sollten für die Sprachverständlichkeit kein wirkliches Problem darstellen.

Ja, das Ändern der Tonhöhe im Bereich zwischen $0{,}6 < \text{PitchShiftFactor} < 1{,}5$ sollte im Hinblick auf die Sprachverständlichkeit kein Problem darstellen.

Die Erhöhung der Menge an verfügbaren Daten ist immer gut für das Training allgemeinerer neuronaler Netze. Datensatz-Augmentierung ist ein einfacher Weg, die Menge der verfügbaren Daten für ein stabileres Training zu erhöhen. Im Falle von Multimediadaten lehrt die Datensatz-Augmentierung das neuronale Netz, welche Art von Modifikationen in den Eingabedaten für menschliche Nutzer akzeptabel sind

Datensatz-Augmentierung für Bildklassifizierungsaufgaben:

• Horizontales Spiegeln (links nach rechts)

• Umwandlung von Farbbildern in Graustufenbilder

• Tiefpassfilterung / Resampling (Neuabtastung) von Bildern

• Aufhellen oder Schwärzen von Bildbereichen (solche Modifikationen simulieren Datenverlust bei der Übertragung über ein Netzwerk)

• Hinzufügen von Hintergrundrauschen

Datensatz-Augmentierung für Keyword-Spotting (Worterkennung):

• Einfügen von 20 ms Stille an einer zufälligen Position (entspricht einem Übertragungsverlust)

• Tonhöhenverschiebung (Pitch Shifting)

• Zeitdehnung (Time Stretching)

• Hinzufügen von weißem Gauß-Rauschen

• Hinzufügen von Rauschen unterhalb der Maskierungsschwelle

• Einfügen von Clipping (Signalbegrenzung)

1. Batch: Eine Teilmenge der gesamten Trainingsdaten. Ein Batch wird in einem einzelnen Trainingsschritt verwendet, um den Gradienten zu berechnen und das Modell anzupassen.

2. Epoche: Ein kompletter Durchlauf durch den gesamten Trainingsdatensatz. Eine Epoche ist abgeschlossen, sobald alle Batches des Datensatzes einmal verarbeitet wurden.

3. Trainingsdaten: Der Teil der Daten, der direkt dazu verwendet wird, das Modell zu trainieren, indem der Lernalgorithmus auf Basis dieser Daten den Gradienten auswertet.

4. Validierungsdaten: Ein separater Datensatz, der nach jeder Epoche genutzt wird, um zu überprüfen, ob das Modell Fortschritte macht und die Lernrichtung korrekt ist, ohne dass das Modell direkt mit diesen Daten trainiert wird.

5. Testdaten: Ein unabhängiger Datensatz, der erst nach Abschluss des gesamten Lernprozesses verwendet wird, um die endgültige Leistung und Zuverlässigkeit des neuronalen Netzes objektiv zu bewerten.

6. Overfitting (Überanpassung): Ein Zustand, in dem das Modell zu stark auf die Trainingsdaten spezialisiert ist. Es erzielt exzellente Ergebnisse bei den Trainingsdaten, scheitert jedoch an neuen, unbekannten Daten (Testdaten), da es keine allgemeinen Regeln, sondern nur spezifische Details der Trainingsdaten gelernt hat

precision=Präzision, Recall=Sensitivität

Bei einer buchstabenbasierten Distanz sind zusätzliche Leerzeichen zusätzliche Zeichen und somit zusätzliche Fehler. Bei einer wortfehlerbasierten Distanz werden Leerzeichen ignoriert, was zu keiner Änderung der Distanz führt.

Nein, Whisper braucht zu lange. Echtzeit für menschliche Nutzer liegt im Bereich von 100 ms bis zu maximal 200 ms Latenz.

Die Abtastrate (der Audiodaten) für Whisper ist festgelegt für 16 kHz.

Der Vektor x hat einen bestimmten Bereich von Amplituden (Beträgen).

Durch die gegebene Normalisierung erhält der Vektor y dieselben Amplituden (Beträge) wie der Eingabevektor x.

a) Wortvariationen müssen aufgezeichnet werden. Dadurch erhöht sich die Anzahl der Wörter im Datensatz beträchtlich. Variationen sind z. B. Konjugationen/Deklinationen wie:

• eine

• einer

• eines

• ...

b) Die Prosodie eines gesprochenen Satzes unterscheidet sich von der einzelner Wörter. Beispiele:

• In einer Frage wird das letzte Wort normalerweise mit einer höheren Tonhöhe gesprochen.

• Das Aufzeichnen der kurzen Pausen zwischen Wörtern jeweils für sich genommen lässt die Stimme maschinenartig und ohne Emotionen klingen.