Testung und Modellvergleich

• z-Test (Wald-Test) (auch t-Test)

• Konfidenzintervalle

• Satterthwaite-Methode

• erlaubt Testung einzelner oder mehrerer fester sowie einzelner oder mehrerer zufälliger Effekte

• Likelihood-Ratio-Test (LRT, Devianzentest)

• Wahl der Schätzmethode (RML oder FML) nach Art der zu testenden Parameter

• Informationskriterien (IC)

• AIC, BIC

• Standardnormalverteilte Prüfgröße

• Prüfgrößen > 1.96 signifikant

• Absicherung über Bootstrap- oder sog. Profilkonfidenzintervalle möglich

• Die Likelihood eines Modells wird aus rechnerischen Gründen meist logarithmiert (Log-Likelihood, LL)

• Je höher (bzw. weniger negativ) die LL, desto besser passt das Modell

• Aus der LL lässt sich direkt die Devianz eines Modells berechnen:

Dev = −2 * LL

• Je höher die Devianz, desto schlechter passt das Modell

• Diese Eigenschaft wird für den Modellvergleich verwendet

• Ziel ist ein möglichst sparsames Modell, das möglichst gut passt

• Durch die Hinzunahme von Parametern (Zufallseffekte, feste Effekte) verringert sich die Devianz, das weniger sparsame Modell passt besser

• Ist die Verringerung der Devianz bedeutsam?

Voraussetzung: Modelle sind geschachtelt (nested models)

• restriktiveres Modell ist Spezialfall des allgemeineren Modells

• allgemeineres Modell enthält alle Parameter des restriktiveren Modells und mindestens einen zu schätzenden Parameter mehr

• restriktiveres Modell geht durch Restriktionen aus dem allgemeineren Modell hervor

Wann welche Likelihood-Funktion?

• REML: Modelle unterscheiden sich nur in zufälligen Effekten

• FML: Modelle unterscheiden sich auch in festen Effekten

-> Vergleich geschachtelter Modelle

• restriktiveres Modell ist im allgemeineren Modell geschachtelt

• H0: restriktiveres Modell bildet die Daten genauso gut ab wie das allgemeinere Modell

• Differenz der Devianzen der beiden Modelle ist annähernd Chi^2-verteilt

• Freiheitsgrade = Differenz in der Anzahl der Parameter

• mit Chi^2-Wert und Freiheitsgraden kann ein p-Wert bestimmt werden

• signifikantes Ergebnis (p<alpha) bedeutet, dass das restriktivere Modell deutlich schlechter passt, das allgemeinere Modell ist vorzuziehen

• p-Wert des LRT nicht korrekt, wenn Parameter auf Randwert gesetzt wird

• 0 ist für Varianzen (aber nicht Kovarianzen) ein Randwert

• Fall bei Vergleich zwischen RI und RC Modellvarianten

• Prüfgröße folgt komplexer Verteilung

• Kritischer χ2-Wert bei df = 1 liegt dann bei 5,14 (statt 2,7)

• Korrektur des ausgegebenen p-Werts durch Mittelung der p-Werte zweier χ2-Verteilungen mit df1 = Anzahl auf 0 gesetzter Varianzen und df2=df1 + 1

• Relevant v.a. bei p-Werten, die nicht extrem klein sind

Informationstheoretische Maße:

• Für den Vergleich ungeschachtelter Modelle gibt es keinen inferenzstatistischen Test, man greift auf Informationskriterien (IC) zurück

• ICs verrechnen die Devianz mit der Anzahl der Parameter (q), so dass viele Paramter bestraft werden (Parsimonitäts-Prinzip)

• sehr gebräuchliche ICs sind das Bayesian Information Criterion (BIC) und das Akaike Informaiton Criterion (AIC)

-> Modell mit den kleineren AIC/BIC-Werten sollte bevorzugt werden

-> absolute Zahlen haben keine Bedeutung