Derive/apply bayes rule

▶ P(D | X) is the likelihood of X, but the (conditional) probability for D (given X)

▶ the model is the entire thing – prior and likelihood ▶ despite the name, the prior is not necessarily what you know before seeing the data, but the marginal distribution P(X) = P d∈D P(X, d) under all possible data.

Allgemeine vollständige Verteilung

Die vollständige Verteilung ohne Annahme von Unabhängigkeiten wäre P(A,E,B,R). Hierzu würden Sie alle möglichen Kombinationen der Werte dieser vier binären Variablen betrachten, was 2^4 = 16mögliche Kombinationen ergibt. Da jedoch eine der Kombinationen durch die anderen bestimmt ist (da die Summe der Wahrscheinlichkeiten 1 sein muss), werden nur 2hoch4−1=15 Parameter benötigt.

Also immer Was von was es abgängig ist on und off 2 abhängig = 4 || 3 = 6 | 1 = 2 | 0 = 1

Verteilung mit Unabhängigkeitsstruktur

P(A∣E,B): Da A von E und B abhängig ist, gibt es für jede Kombination von E und B eine Wahrscheinlichkeit für A. Jede der Variablen E und BBB kann zwei Werte annehmen (wahr oder falsch), was 2*2 = 4 Kombinationen ergibt. Für jede dieser Kombinationen brauchen wir eine Wahrscheinlichkeit für A=1A = 1A=1 (und implizit A=0A = 0A=0, was jedoch nicht gezählt wird, da es berechnet werden kann). Das ergibt 4 Parameter.

A=0 ist der Ausgangspunkt, und 1−l ist die Baseline-Wahrscheinlichkeit

Jede spezifische Situation (wie das Vorhandensein eines Löwen oder eines Wildschweins) wird dann mit dieser Baseline verrechnet, um die genaue Wahrscheinlichkeit für das Nicht-Melden eines Löwen in jener spezifischen Situation zu berechnen

Anwenden der Gegenwahrscheinlichkeit

Um P(A=1)zu berechnen, verwendet man die totale Wahrscheinlichkeit unter Berücksichtigung aller Kombinationen von B und E (jeweils entweder 0 oder 1)

Berechnung spezifischer Konditionalwahrscheinlichkeiten

Nach der Berechnung von P(A=1) können spezifische Konditionalwahrscheinlichkeiten wie P(B=0,E=0∣A=1)P(B = 0, E = 0 | A = 1)P(B=0,E=0∣A=1) berechnet werden, indem die obige Bayes'sche Formel für diese speziellen Werte von B und E angewendet wird

Um eins zu eliminieren werden alle Möglichkeiten summiert

1. Zähler: Die Wahrscheinlichkeit des gemeinsamen Eintretens von BBB und EEE, gegebenA=1. Das ist die Wahrscheinlichkeit, dass sowohl ein Einbruch als auch ein Erdbeben stattfanden, gegeben, dass der Alarm ausgelöst wurde.

2. Nenner: Die Wahrscheinlichkeit von E=1 unter der Bedingung, dass A=1 ist. Das ist die Wahrscheinlichkeit eines Erdbebens, gegeben, dass der Alarm ausgelöst wurde.

▶ Multivariate distributions can have exponentially many degrees of freedom.

▶ (conditional) independence helps reduce this complexity to make things tractable

▶ (directed) graphical models provide a notation from which conditional independence can be read off using simple rules.

▶ Every probability distribution is a DAG, but not every independence structure of a distribution is captured by a DAG of it.

▶ We will use graphical models throughout the course as visual aids to read off conditional (in-) dependence Conditional independence is a tool (and may be required) to keep inference tractable in multi-variate problems.

CPT steht für "Conditional Probability Table" und bezieht sich auf die Tabellen, die die bedingten Wahrscheinlichkeiten für jede Variable unter der Bedingung der Elternvariablen im Graphen enthalten.

Diese drei Faktorisierungen stellen alle möglichen Wege dar, wie diese drei Variablen in einem DAG strukturiert werden können, wobei jeweils eine Variable als die "letzte" betrachtet wird (entweder als von den anderen zwei direkt beeinflusst oder als diese beeinflussend), ohne dass Zyklen entstehen. Sie decken somit alle strukturellen Möglichkeiten ab, die bedingten Unabhängigkeiten in einer Verteilung von drei Variablen zu ordnen.

In dem Beispiel, das Sie gegeben haben, zeigt sich tatsächlich, dass C von A und B abhängig ist. Die Abhängigkeit zwischen C und den anderen Variablen basiert auf der gemeinsamen Konfiguration von AAA und BBB. Diese Abhängigkeit wird in den bedingten Wahrscheinlichkeiten für C ausgedrückt, z.B. P(C=1∣A=1,B=1)=1 und P(C=1∣A=0,B=1)=0. Es ist also klar, dass C tatsächlich von der Kombination von A und B abhängig ist.