Multilevel Analyse

• Alternative Begriffe: Mehrebenen-Analyse, hierarchische lineare Modelle, Gemischte Modelle (Mixed Models)

• Die MLA ist eine Variante der Regressionsanalyse

• Die MLA wird verwendet, wenn die Daten eine hierarchische Struktur aufweisen

Wichtige Unterschiede zur Multiplen Regression

– Die Beobachtungen müssen nicht unabhängig sein (Erhebung in „Clustern“)

– Wenn die hierarchische Struktur nicht berücksichtigt wird, könnten Standardfehler unterschätzt werden —>Verzerrung des Signifikanztests

– Es können Prädiktoren von den verschiedenen Levels aufgenommen werden

– Die Regressionsparameter dürfen zwischen Clustern variieren („Zufallseffekte“)

Was sind Level?

• Einheiten eines tieferen Levels sind in Einheiten eines höheren Levels

„genested“

• Eigenschaften eines höheren Levels wirken in gleicher Weise auf alle

Beobachtungen in einer solchen genesteten Gruppe

– Beispiel: Lehrerverhalten wirkt auf alle Schüler einer Klasse

– Level 2 Prädiktoren haben also die gleiche Ausprägung für alle Mitglieder

eines Level 1 Clusters

• Einheiten eines Levels sollten (idealerweise) zufällig ausgewählt werden

• Prädiktorvariablen (Geschlecht, Exp. Bedingung, etc.) werden nicht zur Bildung

eines Levels verwendet

Forschungsfragen

• Grundlegende Ziele der MLA

– Auffinden von Zusammenhängen: Welche Prädiktoren (der

unterschiedlichen Levels) hängen mit dem Kriterium zusammen?

– Bedeutsamkeit der Prädiktoren (Effektstärke)

– Vorhersage individueller Kriteriumswerte

• Weiterführende Fragen

– Vorhersage von Gruppenmittelwerten

– Gruppenunterschiede in den Regressionsgewichten

(Unterschiedliche UV-AV Relationen in unterschiedlichen Gruppen)

– (Cross-Level)Interaktionen zwischen Prädiktoren

• Normalverteilung der Residuen

– Normalverteilung des Kriteriums

– Normalverteilte oder dichotome Prädiktoren

• Keine Multikollinearität / Singularität der Prädiktoren

• Keine statistischen Ausreißer (innerhalb und zwischen den Levels)

• Ausreichende Stichprobengröße

– Minimum: 𝑁 = 60 Beobachtungen (bei 𝑘 ≤ 5 Parametern)

– Wenn Level 2 Prädiktoren verwendet werden, ist auch eine entsprechende Level 2 Stichprobengröße notwendig!

• Unabhängigkeit der Fehler (Residuen) ist nicht notwendig!

Feste Effekte vs. Zufallseffekte

• Man spricht von Zufallseffekten, wenn Regressionsparameter zwischen

Level 2 Einheiten variieren können

• Schätzung des Mittelwerts des Effekts/Parameters über alle Cluster (fester Effekt)

und der Varianz des Effekts/Parameters zwischen den Clustern (Zufallseffekt)

• Zufallseffekte können sowohl für die das Interzept als auch für die Regressionsgewichte

der Prädiktoren angenommen werden

Parameterschätzung der Multilevel-Analyse

• Die MLA beruht nicht (wie die multiple Regression) auf einer OLS (ordinary least squares) Schätzung

• Parameter werden anhand eines Maximum Likelihood (ML) Verfahren bestimmt

– Annahme: Normalverteilte Residuen —>Die Residuumsvarianz ist ein zusätzlicher Parameter

– Bestimmung der Likelihood für jeden 𝑦-Wert

aus der Dichte der Normalverteilung um 𝑦(Dach)

– Die Likelihood ist hoch, wenn alle vorhergesagten

Werte nahe an den waren Werten liegen

– Berechnung der Likelihood:

– bzw. der Log-Likelihood:

• Alternative zu ML: Restricted Maximum Likelihood (REML)

– Bessere Schätzung der Zufallseffekte (Varianzen) bei kleinen Stichproben

– Der Likelihood Ratio Tests für Modellvergleiche kann allerdings nicht auf Modelle mit REML Schätzern angewendet werden

Das Nullmodell der MLA (ohne Prädiktoren)

• Modellgleichung

• Modellparameter

• Erläuterungen zur Level 1 Gleichung

– Der Kriteriumswert von Person 𝑖 aus Cluster j setzt sich zusammen aus dem Interzept des

Clusters (𝛽0𝑗) und einem individuellem Fehler 𝑒𝑖𝑗

– Die Vorhersagefehler sind über alle Beobachtungen normalverteilt mit Mittelwert 0

und einer Varianz 𝜎𝑒

2

• Erläuterungen zur Level 2 Gleichung

– Das Interzept des Clusters 𝑖 (𝛽0𝑖) setzt sich zusammen aus einem mittleren Interzept (𝛽00)

und einem clusterspezifischen Zufallseffekt 𝑢0𝑖

– Die Fehler sind über alle Beobachtungen normalverteilt mit Mittelwert 0

und einer Varianz 𝜎𝑢

2

Das Nullmodell in R

• Berechnung mit dem Befehl lmer(…)aus der Bibliothek lme4 bzw. lmerTest

• Installation und laden der Bibliothek

Berechnung und Ausgabe des Modells

Hinweise zur Syntax

– symp(AV) und sub(Cluster-Variable) sind Variablen aus dem Dataframe data

– Zufallseffekt: (1|sub)bedeutet, dass das Interzept (1) zufällig zwischen

Probanden (sub) variieren darf

– Ein fester Effekt ist nicht angegeben —> Ein fester Effekt für das Interzept wird automatisch geschätzt!

Die Intraclass Korrelation (ICC)

• Die Intra-Class-Korrelation (ρ, „rho“) gibt den Anteil der Kriteriumsvarianz wieder, der auf Level-2 Unterschieden beruht:

Bei 𝜌 > .05 müssen Zufallseffekte für das Interzept verwendet werden

Vorliegendes Beispiel:

Doppelte Nestung der Beobachtungen

Doppelte „Nestung“ der Beobachtungen in der vorliegenden Studie

– Probanden

– Stimuli

Das Interzept hängt also nicht nur von der Versuchsperson (𝑗) sondern auch von der Stimulusperson (𝑘) ab (unabhängig ob diese Lächelnd oder neutral gezeigt wird)

Doppelte Nestung in R

Das Nullmodell mit doppelter Nestung

1. Informationskriterien

– Berücksichtigen die Modellpassung (loglikelihood: 𝐿𝐿) und Komplexität

(Parameterzahl: 𝑘)

– Modelle mit kleinen Werten sind zu bevorzugen (hohe likelihood bei kleiner

Parameterzahl)

– AIC (Akaike Information Criterion): 𝐴𝐼𝐶 = −2𝐿𝐿 + 𝟐 ⋅ 𝑘

– BIC (Bayesian Information Criterion): 𝐵𝐼𝐶 = −2𝐿𝐿 + 𝐥𝐧 𝑵 ⋅ 𝑘

Likelihood-Ratio Test

– Inferenzstatistischer Vergleich zweier genesteter Modelle 𝑚0 und 𝑚1 mit 𝑘0 und 𝑘1 Parametern

– 𝐿𝑅 = −2 𝐿𝐿 𝑚0 − 𝐿𝐿 𝑚1

– LR folgt unter der 𝐻0 (gleiche Varianzaufklärung von 𝑚0 und 𝑚1) einer

𝜒2-Verteilung mit 𝑑𝑓 = 𝑘1 − 𝑘0 Freiheitsgraden

– Ein signifikanter 𝜒2-Wert weist auf einen besseren Fit des größeren

Modells (𝑚1) hin

Modellvergleiche in R

Fazit: Die zusätzliche Berücksichtigung der Stimulusidentität in Modell 𝑚1 führt zu einem besseren Modellfit (𝐴𝐼𝐶(𝑚1) < 𝐴𝐼𝐶(𝑚0), 𝐵𝐼𝐶(𝑚1) < 𝐵𝐼𝐶(𝑚0), 𝜒2 1 = 77.45, 𝑝 < .001)

Modellgleichung

Modellparameter

R-Syntax

Das Random-Intercept-Model mit Level 1 und Level 2 Prädiktoren

• Modellgleichung

• Modellparameter

• R-Syntax

Varianzaufklärung (Nakagawa's 𝑹²) ()

Schätzung der aufgeklärten Varianz (Nakagawa et al., 2017)

– Marginal 𝑅²: Nur feste Effekte werden berücksichtigt

– Conditional 𝑅2: Berücksichtigung von festen und Zufallseffekten

Schätzung der aufgeklärten Varianz (Nakagawa et al., 2017)

– Marginal 𝑅²: Nur feste Effekte werden berücksichtigt

– Conditional 𝑅2: Berücksichtigung von festen und Zufallseffekten

Das Random-Slope-Modell (mit einem Level 1 Prädiktor)

• Modellgleichung

• Modellparameter

R-Syntax

– Hinweis: Der Zufallseffekt für das Interzept pro Person ist im Code nicht mehr explizit angegeben, wird aber trotzdem berechnet

• Random Slopes —>Personen unterscheiden sich darin, wie stark das Lächeln ihre Sympathieratings beeinflusst: 𝛽1~𝑁(2.14, 0.66)

• Negative Korrelation der Zufallseffekte —>Personen mit generell positiven Ratings (hohes Interzept) reagieren weniger auf das Lächeln

no significance?

—> Das schlankere Modell (𝑘𝑓𝑖𝑛𝑎𝑙 = 9) ist also nicht signifikant schlechter als das volle Modell (𝑘𝑚5 = 21)

Varianzaufklärung

• Die Multilevel-Analyse ist eine Erweiterung der Regression für hierarchisch

Datenstrukturen

• Statistische Voraussetzungen sind:

– Normalverteilung der Residuen

– Keine Multikollinearität/Singularität der Prädiktoren

– Abwesenheit von Ausreißern

– Große Stichproben

• Die MLA erlaubt die die Aufnahme von Zufallseffekten (Varianzen) für

Intercepts und Slopes

• Die Parameterschätzung erfolgt über eine (RE)ML Methode

• Modelle werden in R mit lmerTest::lmergeschätzt

• Modellvergleiche erfolgen über Informationskriterien (AIC, BIC) oder

– bei genesteten Modellen – über den Likelihood-Ratio Test

• Aufgeklärte Varianz kann mit Nakagawa's 𝑅2 geschätzt werden