Wie ist die Markov-Eigenschaft definiert?
Falls für alle n ∈ℕ und alle Zustände i0…i gilt:
P(Xn+1 = j | X0 = i0,…,Xn = i) = P(Xn+1 = j | Xn = i) immer dann, wenn bei P(X0 = i0,…,Xn = i) > 0 ist.
Was bedeutet es für eine Markovkette, homogen zu sein?
Wenn P(Xn+1 = j | Xn = i) = P(X1 = j | X0 = i) ∀n ∈ℕ.
Dh die Wahrscheinlichkeit ist unabhängig von n.
Was gilt es bei diesem Satz zu zeigen, sodass Xt sicher eine Markovkette ist?
What goes into the gap?
Basically gehst du durch alle möglichen j und sagst für j0 dass für z∈[0, ∏(i,jo)) man eben den Wert j0 anwendet. Das macht man dann immer so weiter, also für z im Intervall
[Summe ∏(i,j_k-1), Summe ∏(i,j_k)) soll der Wert jk angenommen werden.
Wie ist das f zu diesem Lemma konstriuert?
Satz 2.4 war sehr powerful um zu zeigen, dass Xn eine homogene Markovkette ist. Nenne die 5 Voraussetzungen um diesen Satz anzuwenden
∏ stochastische Matrix
E abzählbar
f messbar wie in Lemma, also P(f(i,z) = j ) = ∏(i,j)
Zn unabhängige, auf [0,1] gleichverteilte Zufallsvariablen
X0 := i0, f(Xn,Zn) = Xn+1
Wie ist die Startverteilung definiert?
𝛍(A) := P(X0 ∈A)
Fill the gaps
Kläre folgende Äquivalenzen:
Welche 3 Punkte müssen erfüllt sein, sodass
Xn Markovkette
∏ Übergangsmatrix
µ Startverteilung
Was heißen folgende Ausdrücke:
i -> j
i <-> j
i -> j - j ist von i aus erreichbar. Das gilt falls es ein n gibt sodass ∏^n(i,j) > 0.
i <-> j: i und j kommunizieren. Dies gilt, falls i-> j sowie j -> i.
Was heißt es für eine Teilmenge C⊂E “abgeschlossen” zu sein?
Das heißt, dass wenn du in C startest du nur in C enden kannst, da
∀e ∈C gelten muss, dass
Summe ∏(e,i) für i in C = 1.
Was bedeutet es für eine Markovkette irreduzibel zu sein?
Wenn sie nur eine einzelne Kommunizierendenklasse besitzt.
Wie ist die Periode eines Zustands definiert?
Das ist der ggT der möglichen Rückkehrzeiten.
Was können wir über die Periode von 2 kommunizierenden Zuständen sagen?
Sie muss dieselbe sein.
Was meinen wir mit der Periode einer irreduziblen Markovkette?
Da kommunizierende Zustände dieselbe Periode haben, können wir die Periode der Zustände in einer irreduziblen Markovkette zusammenfassen zu der Periode der Markovkette.
Wie wird der Weg konstruiert, der diesen Satz beweist?
1) Da Xn irreduzibel ist gibt es ein m(i,j) sodass ∏^m(i,j) > 0.
2) Da Xn Periode d hat gibt es ein N sodass ∏^{d*n}(j,j) > 0 für alle n≥N gilt.
Zusammen können wir also schließen, dass
∏^{m+nd} ≥ ∏^{m}∏{nd} > 0.
Der Weg geht also erstmal von i nach j und dann immer wieder von j nach j.
What goes into the box? And while you’re at it darling, why don’t you just explain this theorem?
(insert theorem on partition where sum(∏(i,j) for j in Ck+1) = 1 for all i in Ck.
Sei Xn eine irreduzible Markovkette mir Periode d≥2.
Dann kannst du die Menge E in disjunkte Mengen Ck aufteilen sodass du immer von Ck -> Ck+1 gehst in einem Schritt in deiner Markovkette.
Wann ist eine Startverteilung stationär?
Wenn 𝛂∏ = 𝛂 gilt.
Wie haben wir das ∏’ zur Umkehr-MK konstruiert?
Wir haben 𝛂(i) ∏(i,j) = 𝛂(j) ∏(j,i)
für stationäres 𝛂.
Wann ist ein Maß 𝛂 reversibel?
Wenn 𝛂(i) ∏(i,j) = 𝛂(j) ∏(j,i)
Nenne 2 Bedingungen die zu einer g.d.w. Aussage für “∏ ist reversibel” werden
1) ∏(i,j) > 0 ⟺ ∏(j,i) > 0
2) Für jeden Pfad in Xn ist die Wahrscheinlichkeit, diesen vorwärts zu durchlaufen, gleich der, ihn rückwärts zu durchlaufen.
nenne die hinrichende Bedingung für eine Markovkette, damit sie als Irrfahrt auf einem gewichteten Graphen angesehen werden kann
irriduzibel
reversibel
Was hat es mit der Filtration auf sich? Wie ist die natürliche Filtration definiert?
Bei einem W-Raum (Ω,F,P) ist eine Folge Fn ⊆ F eine Filtration, falls Fn ⊆Fn+1
Die natürliche Filtration ist dann definiert als Fn := 𝛔(X1,…,Xn)
Wie bekommt man aus dem Satz zur starken Markoveigenschaft die ursprüngliche Markoveigenschaft?
Die starke Markoveigenschaft besagt, dass wir bei einer Stoppzeit 𝛕 bzgl der natürlichen Filtration mit P(X𝛕 = k) > 0 eine neue Markovkette ab Zeit 𝛕 beginnen können, also
Xt:= X𝛕+t ist bzgl P(•|X𝛕=k) eine Markovkette mit Startverteilung 𝛅k.
Wenn wir nun 𝛕 ≡ m setzen, so kriegen wir die ursprüngliche Markov Eigenschaft.
Notation: Wofür stehen
Ti
fij
Ni
Ti = inf{n≥1: Xn=i}
fij = Pi(Tj<infty)
Ni = ∑1{Xn = i} = Anzahl der Besuche von i.
Explain this
So basically you look at the probability of returning to state i for a total of l times.
If that l is zero then that probability is just Pj(Ti = infty) = 1-Pj(Ti<infty) = 1-fji.
Else if l > 1 we first have to return to state i (so fji), then go from i to i another l-1 times (fii^{l-1}) and multiply by (1-fii) for the probability to not return again.
Wie hängen Wahrscheinlichkeiten für unendliche Werte von Ti und Ni zusammen?
Pi(Ti<infty) = 1 ⟺ Pi(Ni = infty) = 1 ⟺ Ei[Ti] < infty
Pi(Ti < infty) < 1 ⟺ Pi(Ni < infty) = 1
Wann ist ein Zustand rekurrent? Wann ist er positiv/null rekurrent?
Ein Zustand ist rekurrent gdw Pi(Ti<infty) = 1. Er ist null rekurrent wenn Ei[Ti] = infty und sonst positiv rekurrent.
Wann ist ein Zustand transient?
Ein Zustand ist transient, falls P(Ti = infty) = 1
Nenne eine gdw Aussage für Zustand i ist rekurrent.
Ein Zustand i ist rekurrent falls
Wie können wir die Kommunikativität nutzen um etwas über die Rekurrenz von Zuständen herauszufinden?
wir haben i <-> j => i ist rekurrent gdw j rekurrent ist
Was können wir für E[Ni] schließen wenn die eine irreduzible Markovkette rekurrent / transient ist?
rekurrent => Ei[Nj] = infty
transient => Ei[Nj] < infty
Wie können wir heuristisch begründen, dass eine irreduzible Markovkette mit endlichem Zustandsraum rekurrent ist?
Mindestens einer der Zustände muss unendlich oft besucht werden. Der ist dann ja rekurrent und wegen der Irreduzibilität dann auch die ganze Makrovkette.
Wie würdest du Maxim erklären, was der Unterschied zwischen einer stationären Verteilung und einem invarianten Maß ist?
Beide erfüllen die Eigenschaft, dass 𝛂∏ = 𝛂, 𝛂 ist nicht das Nullmaß ist und 0≤ 𝛂(i)< infty. .
Allerdings muss die stationäre Verteilung |𝛂| = 1 erfüllen, was für die Maße nicht der fall sein muss. Somit kann zB ein Maß |𝛂| = infty erfüllen.
Wie könntest du ein invariantes Maß konstruieren für eine irreduzible und rekurrente Matrix?
Indem du 𝛂(i) auf die erwartete Anzahl an besuchen von Status i, bevor du zu einem beliebigen anderen Status 0 zurückkehrst, indem du auch angefangen hast. Basically
𝛂(i) = E0[∑1{Xn = i} 1{T0 ≥n}]
Nenne eine hinreichende Bedingung für Pi(Tj < ∞ ) = 1 ∀i,j∈E
Die Markovkette muss irreduzibel und rekurrent sein.
Wie lautete dieser Satz, den du so sehr in der Hausaufgabe hättest gebrauchen können zur positiven rekurrenz?
Sei Xn ___________ Markovkette, so
(a) ____________ => alle Zustände sind positiv rekursiv
(b) ___________ => alle Zustände sind positiv rekursiv und |𝛂| < infty
Sei Xn irred + rekurrente Markovkette, so
(a) invariant measure |𝛂| < infty => alle Zustände sind positiv rekursiv
(b) ein Zustand ist positiv rekursiv => alle Zustände sind positiv rekursiv und |𝛂| < infty
Wie ist dieses dTV(𝛍,𝛎) definiert?
Das ist der Abstand der Totalvariation zweier Wahrscheinlichkeitsmaße und ist gegeben durch
dTV(𝛍,𝛎) = 1/2 ∑|𝛍(i)-𝛎(i)|
Was besagt der Konvergenzsatz?
Wie ist eine Kopplung von zwei Zufallsvariablen definiert?
Das ist die Verteilung
(X’, Y’) : Ω -> ExE mit L(X’) = L(X) und L(Y) = L(Y’)
Was besagt der Ergodensatz?
Zuletzt geändertvor einem Jahr
