E-5 Bayes + Decision Tree

Das Bayes'sche Theorem im ML liefert uns eine Möglichkeit, die Wahrscheinlichkeit einer Hypothese zu aktualisieren, nachdem wir neue Daten beobachtet haben. Es kombiniert unsere anfänglichen Annahmen (a priori) mit den aktuellen Daten (Likelihood), um die revidierte Wahrscheinlichkeit (a posteriori) zu ermitteln.

Formel: P(h|D) = [P(D|h) * P(h)] / P(D)

• P(h): A priori Wahrscheinlichkeit, dass Hypothese h vor dem Sehen der Daten D wahr ist.

• P(D): Wahrscheinlichkeit der Beobachtung der Daten D, unabhängig von der Hypothese.

• P(D|h): Likelihood, Wahrscheinlichkeit der Daten D unter der Annahme der Hypothese h.

• P(h|D): A posteriori Wahrscheinlichkeit, dass h wahr ist, nachdem Daten D beobachtet wurden.

Beispiel: Angenommen, wir möchten die Wahrscheinlichkeit schätzen, dass ein Patient eine bestimmte Krankheit hat (Hypothese h), nachdem ein Test positiv ausfällt (Daten D). Wenn wir bereits eine Vorstellung von der Häufigkeit der Krankheit in der Population (P(h)) und der Zuverlässigkeit des Tests (P(D|h) und P(D)) haben, können wir das Bayes'sche Theorem anwenden, um die Wahrscheinlichkeit (P(h|D)) zu berechnen, dass der Patient tatsächlich die Krankheit hat, nachdem der Test positiv ausfiel.

Antwort: Ein Naiver Bayes-Klassifikator ist ein einfaches probabilistisches Modell, das auf dem Bayes'schen Theorem basiert und die Annahme der bedingten Unabhängigkeit zwischen den Merkmalen eines Beispiels unter einer gegebenen Klassenannahme macht. Er wird verwendet, um die wahrscheinlichste Klasse für ein neues Beispiel zu finden.

Der Klassifikator berechnet das Produkt der individuellen Merkmalswahrscheinlichkeiten für jede Klasse und multipliziert es mit der Wahrscheinlichkeit der Klasse. Die Klasse mit dem höchsten resultierenden Wert wird als Vorhersage ausgewählt.

Beispiel: Angenommen, wir möchten vorhersagen, ob ein Email Spam ist (zwei Klassen: Spam und Kein Spam) basierend auf Wörtern in der Email (Merkmale: 'Rabatt', 'Exklusiv', etc.). Wir berechnen die Wahrscheinlichkeit für jede Klasse, indem wir die Wahrscheinlichkeiten jedes Wortes in der Email unter der Annahme jeder Klasse multiplizieren und dies mit der allgemeinen Wahrscheinlichkeit der Klasse kombinieren. Die Klasse (Spam oder Kein Spam) mit der höchsten Wahrscheinlichkeit wird als Vorhersage für die Email gewählt