VL11: Mehrebenenanalysen

• Simpson Paradox: Zusammenhänge innerhalb von Sub-Gruppen können eine andere Richtung habem als die Zusammenhänge über Gruppen

• innerhalb jeder Klasse ergibt sich positive Beziehung zw. Begabung und Leistungsselbstkonzept

• insgesamt begabtere Klassen haben aber niedrigeres Leistungsselsbtkonzept als weniger begabte

• oft schlagen Behanldungen in unterschiedlcihen Gruppen unterschiedlich stark an

• lässt sich mittlerer Effekt berechnen, aber mag auch bedeutsame Moderaotren geben, die für Gruppenunterschiede aufkommen

• Oft Abhängigkeit in Daten: Enzelne Messwerte liegen in Gruppen vor und sind untereinander ähnlciher als mit den anderen Messwerten

  • Abhängigkeiten sollte man modellieren

  • z.b. Schulklassen: Kinder einer Klasse haben gleichen Lehrer, alle Schulstudnen gemeinsam, kommen aus homogenen Elternumfeld

  • z.b. Mitarbeiter Abteilungen: gleichen Chef,vgl Aufgaben & Stressoren, ähnliche Unternehmenskultur/Umgangsformen

• Bildungswissenschaftliche Studien über mehrere Länder, Schulen, Klassen

• Untersuchungen zu Belastung und Stress in mehreren Unternehmen

• Evaluation einer therapeutischen Maßnahme bei mehreren Therapeuten

Fester Effekt (fixed effect; FE)

• “Mittlerer Effekt”: Gesamt-Intercept und Gesamt Steigung

Zufälliger Effekt (random effect; RE)

• Gruppenspezifische Abweichung vom festen Effekt für einen Parameter (positiv: abweichung oben; negativ= abweichung nach unten)

schwarz= beobachteter Wert (AV&Prädiktor)

blau= Fester Effekt (Intercept und Slope)

rot= Zufallseffekt (gruppenspezifische o. individuelle Abweichung)

grün= gruppenspezifische Paramter, der als fester Effekt + Gruppenlevel-Residuum reparametrisiert werden kann

• Intercept= Ordinaten-abschnitt (Schneiden der Y-Achse) bei X=0

• Bei Random-Intercept Modell dürfen die Gruppen sich im Intercept unterscheiden

• Jedoch haben alle Gruppen gleiche Steigungen

• Bei Random Intercept Modellen wird Variation des Intercepts zw. Gruppen als zufälliger Effekt modelliert

  - > intercept kann abweichen

• Variation der Slopes zw. Gruppen wird als zufälliger Effekt modelliert

• jede Gruppe eigene Steigung (slope), intercept kann auch abweichuen

• ICC im Nullmodell ist der Anteil der Varianz der Gruppen-Intercepte an der Gesamtvarianz (also Anteil der Varianz, der auf Gruppenunterschiede zurückgeht)

Interpretation

• Ähnlichkeit zw. Beobachtugnen innerhalb einer Gruppe

• ICC= erwartete Korrelation zw. Beobachtungen derselben Level-2 Einheit (z.b. Mitarbeter der gleichen Firma)

Ranges typischer ICCs

• Sozialwissenschaften: .00<p<.40

• Bildungsbereich: .05<p<.20

Effektstärken von ICCs

• Bildung und Organisationen: kleines p.=.05, mittleres p=.10, hohes p=.30

Bewertung/Implikationen

• Bei ICC>0.05 sollte ein Mehrebenenmodell berechnet werden

• Allgemein: Modell-Parameter werden so bestimmt, dasss diese unter Gültigkeit des Modells die Datenpunkte am besten vorhersagen

  • z.b.: Histogramm lässt vermuten, dass Daten normalverteilt sind

• Modellannahme: eine Normalverteilung Liegt vor mit Mittelwert und Standardabweichung

• Parameterbestimmung: Modell-Parameter (Mittelwert, SD) werden so bestimmt, dass diese unter Gültigkeit des Modells die Daten mit möglichst geringer Abweichung vorhersagen, dafür werden von einem Estimator sukzessiv verschiedene Werte in Paramter eingesetzt

• Resultiert für jede Kombination von eingesetzten Werten eine bestimte Wahrscheinlichkeit (=Likelihood), dass diese Daten erzeugt haben könnte

• Ziel ist das (globale) Maximum der Likelihood-Funktion (=Maximum, Likelihood;ML) zu finden

  • Technisch wird dabei i.d.R. die Deivance minimiert:

  • Deviance=-2*ln(Likelihood) bzw. Deviance=-2LL

• Für jedes Model resultiert eine Likelihood (L), dass dieses die Daten erklären kann

  • komplexere Modell i.d.R. höhere Likelihood bzw. gerinegere Deviance

Nestung von Modellen

• Wenn Modell aus einem anderen durch Vereinfachung aus einem anderen hervorgegangen ist, das ist sparsamere Modell ohne RE ist im komplexeren Modell mit RE genestet: geht aus diesem durch Nullfixierung der RE hervor

Likelihood-Ratio (LR) Test

• Likelihoods der Modelle können direkt ins verhältnis gesetzt werden

  • rechenrisch einfacher ist es Differenzen der Devianzen zu berechnen

• unabhängig ob modelle genestet sind oder nicht:

  • Iassen sich informationskriterien berehcnen, die die Passung des Modells jeweils mit der Psarsamkeit verrehchnen (nur solange dieselben beobachteten Daten erklärt werden sollen)

• Populärsten: Akaike Inforamtionskriterium (AIC) znd Bayesianische Informationskriterium (BIC)

  • AIC=-2ln(L)+2k

  • BIC=-2*ln(L)+ln(N)k

• Modell mit kleinsten Informationskriterium bevorzugt

• Daumenregel: Differenz von 2,4,6 bzw. 10 punkten spricht mit kleiner, mittlerer, hoher bzw. sehr hoher Sicherheit für Modell mit kleineren Informationskriterium, kommt auch auf Kontext an

Formale Tests

• Test der Intraklassenkorrelation: wenn ICC > 0.05 dann ja

• Vgl. gensteter Modelle (mit und ohne RE) mit Devianz-Differenztest: wenn signifikant, dann ja

• Vgl. Informationsindizes (AIC,BIC, oder Derivate): wenn Modell mit RE günsitgeren (kleineren) Weer hat, dann ja

Heute oft empfohlen

• Wenn Modell mit Zufallseffekten identifiziert ist, sollten Zufallseffekte geschätzt werden:

• Auch wenn eig nur feste Effekte von Interesse sind, wprden diese bei einem Zulassen von RE weniger verzerrrt geschätzt

Aufnehmen von Prädiktoren

• Prädiktoren werden als feste Effekte ins Modell aufgenommen

• geht auf allen Leveln; Level des Prädiktors= Level auf dem er kovariiert, z.b. Mszp. (L1), Personen (L2), Schulklassen (L3),..

Pseudo R’2

• Zuvallsvarianz spiegelt wieder in welchem Maß Varianz nicht aufgeklärt werden kann

• Wenn ein Prädiktor Varianz aufklärt, sollte er also Zufallsvariant reduzieren

Cross-Level Interaktionseffekte

• Prädiktoren auf verschiedneen Leveln interagieren

• z.b. Fähigkeit (L1) sagt Schulerfolg (AV) voraus; Relation ist schwächer, wenn Klassenlehrer:innen besser unterichten können (L2)

• Interpretation: Besserer Unterricht kompesniert schwächere Fähikeit und schwächt dadurhc den postivien Effekt der Fähigkeit ab