10 Bayesian Learning

Antwort: Bayessches Lernen ist ein Verfahren, das Vorwissen und neue Daten verbindet, um Hypothesenwahrscheinlichkeiten anzupassen. Es schließt keine Hypothesen aus, sondern aktualisiert ihre Wahrscheinlichkeiten mit jeder neuen Beobachtung.

Beispiel: Wenn es 50% der Zeit regnet, wenn der Himmel bewölkt ist (Vorwissen), und heute der Himmel bewölkt ist (neue Daten), dann erhöht Bayessches Lernen die Wahrscheinlichkeit, dass es regnen wird (aktualisierte Wahrscheinlichkeit).

Metgoden:

• Voting Gibbs

• Naive Bayes classifies

Antwort: Beim Bayesschen Lernen erfordert die Kenntnis vieler Wahrscheinlichkeiten/Verteilungen und der hohe Rechenaufwand besondere Aufmerksamkeit. Obwohl das Vorwissen oft aus vorhandenen Daten geschätzt werden kann, ist der Rechenaufwand in der Regel hoch und steigt linear mit der Anzahl der Hypothesen. In speziellen Fällen kann dieser Aufwand jedoch signifikant reduziert werden.

Beispiel: Die Berechnung der optimalen Bayesschen Hypothese für eine große Datenmenge mit vielen Variablen kann sehr rechenintensiv sein. Wenn jedoch die Daten oder das Modell bestimmte Eigenschaften haben (z.B. Unabhängigkeit), kann der Prozess vereinfacht und beschleunigt werden.

Antwort:

• Produktregel: Die Wahrscheinlichkeit, dass zwei Ereignisse A und B gemeinsam eintreten (P(A ∩ B)), ist gleich dem Produkt der Wahrscheinlichkeit von A und der bedingten Wahrscheinlichkeit von B gegeben A.

• Summenregel: Die Wahrscheinlichkeit, dass entweder Ereignis A oder B eintritt (P(A ∪ B)), ist gleich der Summe ihrer Einzelwahrscheinlichkeiten minus der Wahrscheinlichkeit, dass beide gemeinsam eintreten.

• Gesetz der totalen Wahrscheinlichkeit: Die Wahrscheinlichkeit eines Ereignisses B ist gleich der Summe der Produkte der Wahrscheinlichkeiten für jedes Ereignis A_i und der bedingten Wahrscheinlichkeiten von B gegeben A_i, für alle i.

• Bayes-Theorem: Die bedingte Wahrscheinlichkeit von A gegeben B (P(A|B)) ist gleich der Wahrscheinlichkeit von B gegeben A multipliziert mit der Wahrscheinlichkeit von A, geteilt durch die Wahrscheinlichkeit von B.

Beispiel: Angenommen, es gibt zwei Urnen, Urne 1 mit 2 roten und 3 blauen Kugeln und Urne 2 mit 1 roten und 1 blauen Kugel. Die Produktregel würde verwendet, um die Wahrscheinlichkeit zu berechnen, dass eine zufällig gezogene Kugel aus Urne 1 rot ist und dann eine Kugel aus Urne 2 ebenfalls rot ist. Das Bayes-Theorem könnte verwendet werden, um die Wahrscheinlichkeit zu berechnen, dass eine gezogene rote Kugel aus Urne 1 kam, gegeben die Information, dass eine rote Kugel gezogen wurde.

Antwort: Das Bayes'sche Theorem im Maschinellen Lernen berechnet die Wahrscheinlichkeit P(h|D), dass eine Hypothese h wahr ist, gegeben die Daten D. Es verwendet dazu die a priori Wahrscheinlichkeit P(h), die Likelihood P(D|h), und die Wahrscheinlichkeit der Daten P(D).

Beispiel: Wenn Sie wissen möchten, wie wahrscheinlich es ist, dass eine E-Mail Spam ist (h), gegeben bestimmte Wörter in dieser E-Mail (D), nutzen Sie das Bayes'sche Theorem. Dabei kombinieren Sie Ihre anfängliche Einschätzung der Spam-Wahrscheinlichkeit (P(h)), wie oft die Wörter in Spam-E-Mails vorkommen (P(D|h)), gegenüber dem Vorkommen dieser Wörter in allen E-Mails (P(D)).

Antwort: Bedingte Unabhängigkeit bedeutet, dass zwei Ereignisse X und Y unabhängig voneinander sind, wenn ein drittes Ereignis Z bekannt ist. Die Wahrscheinlichkeit von X ist dann unabhängig von Y, gegeben Z.

Beispiel: Donner und Regen sind bedingt unabhängig voneinander, wenn das Ereignis Blitz bekannt ist. Das heißt, wenn man weiß, dass es blitzt, gibt das Auftreten von Regen keinen zusätzlichen Hinweis auf die Wahrscheinlichkeit von Donner.

Antwort: Bayesianisches Lernen kombiniert bestehendes Wissen (A-priori-Wahrscheinlichkeiten) mit beobachteten Daten, wobei jede Hypothese eine zugeordnete Wahrscheinlichkeit hat.

Antwort: Die Posteriori-Wahrscheinlichkeit einer Hypothese h gegeben Daten D ist das Produkt der Likelihood der Daten gegeben h und der A-priori-Wahrscheinlichkeit von h, geteilt durch die Wahrscheinlichkeit der Daten.

Antwort: Ein Bayes-Optimal-Klassifikator ist ein Modell, das die wahrscheinlichste Klassifizierung einer neuen Instanz aus den gewichteten Vorhersagen aller Hypothesen bestimmt.

Antwort: MAP-Hypothesen maximieren die Posteriori-Wahrscheinlichkeit, während ML-Hypothesen die Likelihood maximieren.

Antwort: Herausforderungen umfassen die Notwendigkeit von Vorwissen über viele Wahrscheinlichkeiten und den hohen Rechenaufwand.

Antwort: Ein typisches Anwendungsbeispiel ist die Textklassifikation, wie etwa das Kategorisieren von E-Mails in "Spam" und "Nicht-Spam".

Antwort: Ein Naive-Bayes-Klassifikator ist ein einfaches probabilistisches Modell, das auf der Annahme der bedingten Unabhängigkeit der Merkmale basiert.

Antwort: Bei der Textklassifikation werden Dokumente als Vektoren von Wortattributen repräsentiert und der Naive-Bayes-Klassifikator wird verwendet, um die Klassenzugehörigkeit zu bestimmen.

Antwort: Bei Naive Bayes wird angenommen, dass alle Merkmale bedingt unabhängig voneinander sind, gegeben die Klassenzugehörigkeit.

Antwort: Die Hauptannahme ist, dass die Attribute (Merkmale) untereinander bedingt unabhängig sind, gegeben die Klassenzugehörigkeit

Antwort: Bayesianische Netzwerke sind Modelle, die bedingte Abhängigkeiten zwischen einer Menge von Zufallsvariablen darstellen.

Antwort: In Bayesianischen Netzwerken wird die bedingte Wahrscheinlichkeit einer Variablen als Produkt der lokalen Wahrscheinlichkeiten, gegeben ihre direkten

Antwort: MAP (Maximum a Posteriori) ist eine Schätzmethode, die die Wahrscheinlichkeit einer Hypothese unter Berücksichtigung der beobachteten Daten maximiert.

Antwort: Bayesianische Netzwerke erlauben eine flexiblere Modellierung von bedingten Abhängigkeiten und sind daher weniger restriktiv als der Naive-Bayes-Klassifikator.

Antwort: Der EM-Algorithmus ist ein iteratives Verfahren zum Schätzen von Parametern in statistischen Modellen, insbesondere bei unvollständigen Daten

Antwort: Die Grundidee ist, dass unter bestimmten Bedingungen die Wahrscheinlichkeitsverteilung einer Variablen unabhängig von anderen Variablen ist.

Antwort: Beim Lernen realer Funktionen wird versucht, eine Ziel funktion zu finden, die den mittleren quadratischen Fehler zwischen den vorhergesagten und tatsächlichen Werten minimiert.

Antwort: A-priori-Wahrscheinlichkeiten werden oft auf der Grundlage von Hintergrundwissen oder vorhandenen Daten geschätzt.

Antwort: Ein Bayes-optimales Verfahren maximiert die durchschnittliche Leistung unter allen möglichen Hypothesen, basierend auf den gegebenen Daten.

Antwort: Die Wahrscheinlichkeit einer Hypothese wird durch Bayes' Theorem aktualisiert, indem neue Beobachtungen mit der vorherigen Wahrscheinlichkeit der Hypothese kombiniert werden.

Antwort: Sie nutzen angenommene a priori Wahrscheinlichkeiten und beobachtete Daten, um diese zu berechnen.

Antwort: Der Naive-Bayes-Klassifikator ist ein erfolgreiches Lernmodell, das auf der Annahme der bedingten Unabhängigkeit der Attribute basiert.

Antwort: Sie beschreiben gemeinsame Wahrscheinlichkeitsverteilungen und sind weniger restriktiv als der Naive-Bayes-Klassifikator, indem sie bedingte Unabhängigkeiten in Variablensubsets modellieren.

Antwort: Der EM-Algorithmus ermöglicht das Handling von versteckten Zufallsvariablen.

Antwort: Der Bayes-Optimal-Klassifikator verwendet gewichtete Vorhersagen aller Hypothesen, um die wahrscheinlichste Klassifizierung zu bestimmen.

Antwort: Er operiert unter der Annahme der bedingten Unabhängigkeit der Attributwerte.

Antwort: Ja, sie ermöglichen die Analyse anderer Lernalgorithmen, die Bayes' Theorem nicht direkt anwenden.

Antwort: Sie beschreiben gemeinsame Wahrscheinlichkeitsverteilungen.

Antwort: Sie modellieren bedingte Unabhängigkeit in Subsets von Zufallsvariablen und sind deshalb weniger restriktiv.

Antwort: Bayesianische Netzwerke können in verschiedenen Aufgaben lernen, einschließlich solcher mit verborgenen Variablen.

Antwort: Der EM-Algorithmus ermöglicht die Handhabung von versteckten Zufallsvariablen.

1. Frage

Die Methoden aus den Vorlesungsunterlagen zum Lernen der Parameter eines Bayes'schen Netzes, wenn nicht alle Variablen beobachtbar sind, umfassen:

1. Gradient Ascent: Dies wird verwendet, wenn die Struktur des Netzwerks bekannt ist und nur einige Variablen beobachtbar sind. Es handelt sich um eine Optimierungsmethode, die versucht, die Parameter des Netzes zu verbessern, indem sie iterativ in die Richtung des steilsten Anstiegs der Zielfunktion schreitet.

2. Expectation-Maximization (EM) Algorithmus: Dieser wird angewendet, um die Parameter des Netzes zu schätzen, wenn einige Daten nicht beobachtbar sind. Es handelt sich um einen iterativen Ansatz, der abwechselnd Erwartungswerte für die fehlenden Daten berechnet (E-Step) und die Parameter des Netzes aktualisiert (M-Step), um die Wahrscheinlichkeit der beobachteten Daten zu maximieren.

1. Aufgabe b mit tabelle:

glaube falsch gerechnet mit der tabelle: müsste eigentlich 1/3 beim ersten und 2/3 beim zweiten sein

1. Der Naive Bayes-Klassifikator vereinfacht den optimalen Bayes-Klassifikator, indem er annimmt, dass alle Merkmale unabhängig voneinander sind, wenn die Klasse gegeben ist. Dies ermöglicht eine einfache Berechnung der Klassifikationswahrscheinlichkeiten, ist aber eine idealisierte Annahme, die in der Realität oft nicht zutrifft.

2. Die Methode, die sich eignet, um Bayes'sche Netze zu lernen, wenn die Struktur bekannt ist, aber nur einige Variablen beobachtbar sind, ist der "strukturelle EM-Algorithmus" oder "SEM-Algorithmus".