uncertainties for deep neural networks

Aleatorische unsicherheit beschreibt die die entsteht, wenn beziehung zwischen eingabe und ausgabe inherent zufällig ist.

nicht reduzierbar durch mehr daten

könnte mit mehr features oder einem besseren messsystem verbessert werden

epistemitsche unsicherheit :

fehlen an wissen über optimale hypothese, model, parameter

kann mit mehr daten reduziert werden

aleatorisch

epistemisch

Die Idee hinter der Bayesschen Wahrscheinlichkeitstheorie ist, Unsicherheit durch Wahrscheinlichkeiten darzustellen und diese durch die Kombination von Vorwissen (Prior) und neuen Daten (Likelihood) zu aktualisieren. Dies erfolgt mittels des Bayes-Theorems, das die bedingte Wahrscheinlichkeit einer Hypothese basierend auf beobachteten Daten berechnet.

Geschichte dazu:

Du hast schon einige Verdächtige im Kopf. Der Bäcker erzählt dir, dass der Schokoladenliebhaber Karl häufig spät in der Nacht in der Nähe der Bäckerei gesehen wird. Daher denkst du, dass die Wahrscheinlichkeit, dass Karl der Dieb ist, ziemlich hoch ist. Das ist dein Vorwissen oder Prior.

Während deiner Ermittlungen findest du eine neue Spur: Fußabdrücke im Mehl, das aus der Bäckerei stammt. Du weißt, dass Karl große Füße hat, die zu den Abdrücken passen könnten. Das sind deine neuen Daten oder Likelihood.

Um nun deine Vermutung zu bestätigen oder zu widerlegen, kombinierst du dein Vorwissen mit den neuen Daten. Du überlegst dir: “Wenn Karl der Dieb ist (Prior), wie wahrscheinlich ist es, dass er diese Fußabdrücke hinterlässt (Likelihood)?”

Mit dieser Überlegung aktualisierst du deine Vermutung. Wenn die neuen Daten gut zu deiner ursprünglichen Annahme passen, bist du nun sicherer, dass Karl der Dieb ist. Wenn nicht, könnte jemand anderes der Dieb sein.

Durch die Kombination deines Vorwissens und der neuen Beweise kommst du zu einer fundierteren Schlussfolgerung. Du hast die Unsicherheit reduziert und bist näher daran, den Fall zu lösen.

Beschriftung: likelihood Prior

Evidence

integral über parameter ist nicht berechenbar, deswegen müssen wir approximieren

dafür kann man variational inference und elbo verwenden

Homoscedastisch ist konstand und unabhängig vom input

Münzwurf

Das Ergebnis des Münzwurfs bleibt konstant und ist völlig unabhängig von äußeren Einflüssen. Dies nennt man Homoskedastizität – die Unsicherheit oder Varianz ist konstant und unabhängig vom Input. Annas Münzwurf ist ein perfektes Beispiel dafür.

Heteroskedastisch kann variieren und ist abhängig von input

wettervorhersage

die Unsicherheit oder Varianz kann sich ändern und hängt vom Input ab. Bens Wettervorhersage ist ein typisches Beispiel für Heteroskedastizität.

Monte carlo dropout

deep ensembles

Monte Carlo Dropout funktioniert, indem während der Vorhersagephase Dropout angewendet wird, was normalerweise nur während des Trainings geschieht. Durch das mehrmalige Durchführen von Vorhersagen mit zufälligem Dropout können Unsicherheiten in den Modellvorhersagen abgeschätzt werden.

vorteil: einfach zu implementieren, unabhängig von architektur

Nachteil: rechenaufwand und nicht robust

Deep Ensembles funktionieren, indem mehrere unabhängige Modelle trainiert und deren Vorhersagen kombiniert werden. Durch das Aggregieren der Vorhersagen dieser unterschiedlichen Modelle können robustere und genauere Ergebnisse sowie Unsicherheitsabschätzungen erzielt werden.

Pros: Flexibel , orbust , parallelisierbar

cons : noch aufwändiger was rechenlesitung angeht