Vorlesung

1. Wilks lamda

2. Pillai-(Bartlett)-Spur (V)

3. Hotelling Spur (T)

4. Roys größte Wurzel

• Prädiktorn metrisch oder dichotom

• Kriterium metrisch

• Homoskedastizität -> gleiche bedingte Varianzen in Y für alle X

• normalverteilte Residuen

• Unabhängigkeit der Residuen

Voraussetzungen gelten für die inferenzstatistischen Schlüsse, nicht für die Bestimmung der Regressionsparameter

1. korrekte Spezifikation des Modells

2. Messfehlerfreiheit der UVs (perfekte Reliabilität)

3. Normalverteilung der Residuen

4. Homoskedastizität

5. Unabhängigkeit der Residuen

Multikollinearität

Ausreißer und einflussreiche Datenpunkte

• Auswahl der Prädiktoren (zu viele, zu wenige)

• Relation zwischen Prädiktoren und Kriterium (linear?)

• Wirkung der Prädiktoren: additiv, Interaktionen?

Auslassen wichtiger Prädiktorterme

• nicht-lineare Anteile, Interaktionen, wichtige weitere, konfundierende Variablen

kann insgesamt zu falscher Interpretation der Ergebnisse führen

Abhilfe:

• nicht-lineare Anteile und Interaktionen können entsprechend geprüft werden

• der Einfluss weiterer Variablen ist eher theoretisch zu begründen

Aufnahme irrelevanter Prädiktoren

• führt zu verzerrter Schätzung der Regressionsgewichte

• Prognosefehler und Kreuzvalidierungsfehler werden mit zunehmender Anzahl an Prädiktoren größer

Vermeidung durch Signifikanzprüfung der Prädiktoren und Elimination irrelevanter Prädiktoren

locally weighted scatterplot smoother

• stellt den Zusammenhang dar, ohne ein bestimmtes Modell zugrunde zu legen

• Bereich um einen bestimmten X-Wert wird definiert -> smoothing window

• dieser Bereich enthält eine bestimmte Anzahl an X-Werten

• für diesen Bereich wird lineare Regression durchgeführt und für alle beobachteten X-Werte wiederholt

verzerrte Schätzung der Regressionskoeffizienten

verzerrte Schätzung der Standardfehler -> möglicherweise verringerte Teststärke

verzerrte Regressionsgewichte

möglichst reliable Skalen auswählen

nicht zu wenige Items verwenden -> Reliabilität steigt mit Anzahl der Items an

Verletzung führt zu korrekter Schätzung der Regressionsgleichung, aber zu falscher Schätzung der Standardfehler bei kleinen Stichproben

Verletzung kann auch auf Fehlspezifikation des Modells hinweisen

Überprüfen mit Histogramm der Residuen und/oder PP-Plot

• Messfehler ist unsystematisch

• der Erwartungswert der Messfehlervariablen ist über viele Personen hinweg = 0

• Messfehlervariable und True-Score-Variable sind unkorreliert

eindimensional: eine latente Variable ist für den Zusammenhang der beobachteten Variablen verantwortlich

mehrdimensional: eine latente Variable reicht nicht aus, um den Zusammenhang zwischen den beobachteten Variablen zu beschreiben

• eine beobachtete Variable kann Indikator einer oder mehrerer latenten Variablen sein

• es kann mehrere sinnvolle oder passende Modelle geben, die Beziehung zwischen manifesten Variablen zu beschreiben

• Konfirmatorische Faktorenanalyse: stellt die Beziehung von latenten Variablen und ihren Indikatoren dar

• Pfadanalyse: untersucht komplexe Beziehungen zwischen (beobachteten) Variablen

  • komplexer im Vergleich zur multiplen Regression

• Strukturgleichungsmodelle: untersuchen komplexe Beziehungen zwischen latenten Variablen unter Berücksichtung der Beziehung von latenten Variablen und ihren Indikatoren

bei der exploratorischen Faktorenanalyse werden die Faktoren und die Zuordnung von beobachteten Variablen und Faktoren gesucht und sind das Ergebnis der Analyse

bei der konfirmatorischen Faktorenanalyse gibt es Hypothesen über die zugrundliegenden latenten Variablen und ihre Beziehung zu den beobachteten Variablen, die überprüft werden

Korrelation zweier Variablen, die mit verschiedenen MEthoden das gleiche erfassen

Überprüfung und Bestätigung des Modells

ggf. auch überprüfen, welches von mehreren Modellen besser passt

1. Spezifikation des Modells

2. Prüfung der Identifizierbarkeit

3. Schätzung der Modellparameter

4. Überprüfung der Modellgüte/Modellgültigkeit

5. ggf. Modifikation des Modells

6. ggf. Vergleich verschiedener Modelle

• kann in Form von Gleichungen oder als Pfadmodell dargestellt werden

enthält:

• Anzahl der Faktoren

• Ladungsstruktur

  • = welche manifeste Variable lädt auf welchem Faktor

• Korrelationen zwischen latenten Variablen?

• evtl. weitere Restriktionen wie Gleichheit von Fehlervarianz oder Ladungen

• Fixierungen

Varianzen der manifesten Variablen und die Kovarianzen zwischen ihnen

-> Elemente der beobachteten Varianz-Kovarianz-Matrix

Anzahl steigt mit Anzahl der beobachteten Variablen

wenn die Anzahl verfügbarer Informationen ausreicht, um die Anzahl unbekannter Parameter zu schätzen

Varianzen der latenten Variablen und Residualvariablen, Ladungen der manifesten Variablen auf die latenten Variablen, Korrelationen zwischen den latenten Variablen (Kovarianzen zwischen latenten Variablen)

Anzahl ist abhängig von der Anzahl der latenten und manifesten Variablen

verbessert durch Hinzunahme weiterer Indikatorvariablen

verschlechtert durch Hinzunahme weiterer Faktoren

df = Anzahl vorhandener Informationen - Anzahl unbekannter Modellparameter

df < 0 -> Modell ist nicht identifiziert (under-identified)

• Modellparameter können nicht bestimmt werden (zu wenig Informationen)

df = 0 -> Modell ist genau identifiziert (just-identified)

• eine eindeutige Lösung

• beobachtete Daten werden perfekt reproduziert

df > 0 -> Modell ist überidentifiziert (over-identified)

• eine eindeutige Lösung, die durch ein zusätzliche Kriterium gefunden wird

• beobachtete Daten werden nicht perfekt reproduziert

p * (p + 1)/2

für p Variablen

Messmodell und Strukturmodell

Messmodell -> faktorenanalytisches Modell

Strukturmodell -> Pfadanalyse

Beziehungen zwischen latenten Variablen und ihren jeweiligen Indikatoren werden spezifiziert

• es wird festgelegt, wie latente Variablen gemessen werden können

• Indikatoren können metrisch oder ordinalskaliert sein

• latente Variablen sind immer metrisch

Um Messfehler von wahren Effekten trennen zu können, müssen immer mindestens zwei Indikatoren pro latente Variable vorliegen

Hier werden die Beziehungen der latenten Variablen untereinander spezifiziert

• diese Beziehungen können komplex sein und alle möglichen Effekt beinhalten

Variable, die nicht durch das Modell erklärt wird

nur unabhängige Variable

hat keine Fehlervarianz

Variable, die durch das Modell erklärt wird

Abhängige Variable

Messfehler wird berücksichtigt

vermittelnde Variable, steht in der Kausalkette zwischen zwei Variablen

unabhängige und abhängige Variable zugleich, also auch immer eine endogene Variable

die Regressionsgewichte der multiplen Regressionsgleichung

erster Index steht für die jeweilige AV, der zweite für den Prädiktor

additive Konstanten tauchen im Pfadmodell nicht auf

Multiplikation der Pfadkoeffizienten des indirekten Weges

Summes des direkten und indirekten Effektes

• Chi2-Wert (möglichst klein, nicht signifikant)

• RMSEA (möglichst klein, nicht signifikant)

• CFI (möglichst groß, nahe 1)

mithilfe dieser Werte lassen sich auch verschiedene Modelle hinsichtlich ihrer Güte vergleichen

allgemein: eine Variable ist von derselben Variable zu einem oder mehreren vorherigen Messzeitpunkten abhängig

Ordnung des Modells dadurch bestimmt, wie viele Zeitpunkte ein einzelner Zeitpunkt beeinflusst

• standardisierte und nicht-standardisierte Pfadkoeffizienten

• standardisierte und nicht-standardisierte Fehlervarianzen, Standardfehler (nur für endogene Variablen)

• standardisierte und nicht-standardisierte Varianzen der exogenen Variablen

Sobel-Test

besser, weil genauer: Bootstrapping

Methode der Datensimulation, SKV wird aus einer einzigen Stichprobe geschätzt

aus der Stichprobe mit Umfang n werden Stichproben mit dem Umfang n mit Zurücklegen gezogen

Die Verteilung eines bestimmten Parameters ergibt dann die SKV dieses Parameters

-> aus der mittels Bootstrapping berechneten Verteilung kann auch ein Konfidenzintervall bestimmt werden

1. Modellspezifikation

2. Identifikation

3. Schätzung der Modellparameter

4. Beurteilung der Modellgüte

5. ggf. Modellvergleich, ggf. Modellmodifikation

Messfehler der exogenen Variablen kann im SGM (anders als bei der Pfadanalyse) berücksichtigt werden

wird die Messfehlerbehaftetheit nicht berücksichtigt, wird der Zusammenhang mit den endogenen Variablen unterschätzt, je größer der Messfehler ist, umso mehr

Im Rahmen linearer Strukturgleichungsmodelle können messfehlerbedingte von wahren Einflüssen getrennt werden

• Fehlen von Zusammenhängen

• Gleichheit von Faktorladungen

• Gleichheit von Fehlervarianzen

• bestimmte Werte für einzelne Parameter (wenn keine Fixierung)

• bei autoregressiven Modellen eine geringere Ordnung annehmen

-> um zu einer eindeutigen Lösung kommen zu können

latente Variablen haben zunächst keine Metrik, und die Skalierung dieser beeinflusst die sonstigen Eigenschaften des Modells nicht, deswegen sind prinzipiell eine unendliche Anzahl and Lösungen möglich, mit unterschiedlich skalierten Faktoren

• Ladungen der manifesten Variablen auf die Faktoren (sofern nicht fixiert)

• Pfadkoeffizienten für den Zusammenhang der latenten Variablen

• alle Fehlervarianzen der manifesten Variablen

• die Residualvarianzen der endogenen latenten Variablen

• Die Varianzen der exogenen latenten Variablen (sofern nicht fixiert)

wie viel Varianz einer beobachteten Variablen durch diesen Faktor erklärt wird

(adiiert sich gemeinsam mit Fehlervarianz zu 1, wenn manifeste Variable nur durch diesen einen Faktor beeinflusst wird)

Level 1: Individualebene

Level 2: Gruppenebene

Ein auf Gruppenebene gefundener Zusammenhang wird fälschlicherweise auf Individualebene interpretiert

Menschen sind sich Menschen ihrer eigenen Gruppe ähnlicher ala Menschen aus anderen Gruppen -> Residuen sind nicht aunabhängig

verletzte Voraussetzung der Regression, Standardfehler wird unterschätzt

• Die hierarchische Struktur und die Abhängigkeiten innerhalb der Gruppe werden berücksichtigt

• simultane Modellierung der Zusammenhänge auf mehreren Ebenen

  • Analyse von Unterschieden zwischen Personen (Personebene)

  • Analyse von Unterschieden zwischen Gruppen (Gruppenebene)

  • Eigenschaften der Gruppe als Moderatorvariablen

• sehr gut geeignet für die Analyse längsschnittlicher Daten

1. Welchen Wert haben der durchschnittliche Achsenabschnitt und die durchschnittliche Steigung über alle Gruppen hinweg?

2. Wie stark variieren gruppenspezifische Achsenabschnitte und Steigungen?

3. Warum variieren diese Größen?

1. Nullmodel/Intercept-Only-Modell

2. Random Intercept Modell

   1. Modell mit Level 1-Prädiktoren ohne Level 2 Residuen für deren Steigungskoeffizienten

3. Random Coefficients Modell

   1. Modell mit Level 1 Prädiktoren mit Level 2 Residuen für deren Steigungskoeffizienten

4. Modell mit Level 2 Prädiktoren für den Level 1 Achsenabschnitt

5. Modell mit Level 2 Prädiktoren für die Level 1 Steigungskoeffizienten (Cross-Level-Interaktionen)

Gibt es systematische Varianz in der AV?

Ist die Varianz auf Unterschiede innerhalb oder zwischen den Gruppen zurückzuführen?

Ähnlichkeit zwischen den Werten der Kriteriumsvariable von zwei zufällig gezogenen Level-1-Einheiten aus derselben (zufällig gezogenen) Level 2 Einheit

Anteil and er Gesamtvariant in der Kriteriumsvariablen, der auf die Zugehörigkeit zu einer Level 2 Einheit zurückgeführt werden kann

Wenn der ICC aus Stichprobendaten berechnet wird, ist die Stichprobenvarianz selbst kein erwartungstreuer Schätzer der Populationsvarianzen

Effekt eines Prädiktor kann festgestellt werden

-> Kann der Prädiktor über die Gruppen hinweg das Kriterium vorhersagen

feste Effekt: solche, die für alle Personen gleich sind

-> hier wird der Wert geschätzt

zufällige Effekte: Fehler/Residuen, für jede Person unterschiedlich, lassen sich den verschiedenen Ebenen zuordnen

-> hier wird die Varianz geschätzt

eine Veränderung der Parameter führt zu keiner deutlichen Veränderung des Wertes der Likelihood-Funktion

-> Verfahren ist beendet

Dev = -2LL

je kleiner die Devianz, desto besser passt das Modell auf die Daten

Prüfgröße ist die Differenz der Devianzen zweier geschachtelter Modelle, diese Differenz ist Chi2-verteilt

komplexes Modell passt immer besser -> kleinere Devianz

restriktiveres Modell passt immer schlechter -> größere Devianz

Freiheitsgrade: df = q1 - q2

mit q = Anzahl der Parameter eines Modells

komplexeres Modell steht bei der Berechnung der Freiheitsgrade vorne, bei Berechnung der Prüfgröße hinten!

nicht signifikant: kein bedeutsamer Unterschied im Modellfit, restriktiveres beibehalten

signifikant: komplexeres Modell passt besser auf die Daten, restriktiveres Modell verwerfen

-> Modellpassung und Sparsamkeit

Akaike Information Criterion

Dev + 2q

Devianz und Anzahl Parameter wird berücksichtigt

besser ist das Modell, für das AIC kleiner ist

Bayesian Information Criterion

Dev + q ln(N)

Hier wird Devianz, Anzahl Parameter und die Stichprobengröße berücksichtigt

besser ist das Modell, für das BIC kleiner ist

Problem bei BIC: Stichprobengröße variiert bei Multi-Level Modellen zwischen den Level-2-Einheiten -> besser AIC nehmen

standardisieren, wenn:

• Originalmetrik nicht sinnvoll interpretierbar ist

• verschiedene Prädiktoren verglichen werden sollen, die sich in Originalmetrik, Mittelwerte und/oder Varianzen unterscheiden

nicht standardisieren, wenn:

• Originalmetrik sinnvoll interpretiert werden kann

• Regression zur Vorhersage genutzt wird

• Gruppen verglichen werden sollen

= Standardabweichung der Residuen -> “durchschnittliches” Residuum in der Originalmetrik der abhängigen Variablen

Wurzel der durchschnittlich quadrierten Residuen

gibt an, wie stark die beobachteten Werte um die Regressionsgerade streuen

je größer der Standardschätzfehler, desto ungenauer die Vorhersage

kann als Vergleich dienen, wenn zwei Modelle die gleiche AV haben, bei verschiedenen Modellen schwierig, da nicht standardisiertes Maß

Determinationskoeffizient: Anteil der Varianz der vorhergesagten Werte an der Gesamtvarianz

-> Anteil der erklärten Varianz an der Gesamtvarianz

entspricht eta2

1. t-Test der Korrelation

2. t-Test des Regressionsgewichts

3. F-Test der Regression

prüft die Hypothese, dass in der Population kein Zusammenhang besteht

Prüfgröße t berechnet sich aus der Produkt-Moment-Korrelation und der Stichprobengröße

df = n-2

t = r * Wurzel aus df / Wurzel aus 1-r2

ist die Varianzaufklärung durch den Prädiktor statistisch signifikant?

t = bj/𝜎j

df = n-k-1

Zerlegung der Variabilität des Kriteriums in den Anteil, der auf den Prädiktor zurückgeht und die Fehlervariabilität

Mittlere Quadrate: Quadratsummen (SS) geteilt durch df

• dfReg= k, dfRes = n-k-1

F = MSReg / MSRes

• Aufdeckung redundanter Zusammenhänge

• Aufdeckung von Scheinkorrelationen

• Aufdeckung maskierter Zusammenhänge

Korrelation zwischen den vorhergesagten und tatsächlichen Werten im Kriterium= R

0≤R≤1

Überprüfbar mit F-Test des Inkrements

= Inkrement des Prädiktors

wie viel Varianz erklärt ein Prädiktor zusätzlich zu allen anderen Prädiktoren

blockweises Aufnehmen von Prädiktoren

(theoriegeleitet)

Vorwärtsselektion

Rückwärtsselektion

Schrittweise Regression

alle potenziellen Prädiktoren werden spezifiziert

Der Prädiktor mit dem größten Inkrement wird aufgenommen, so lange, bis weitere Prädiktoren nicht mehr signifikant werden

Alle potenziellen Prädiktoren werden in das Modell mit aufgenommen

schrittweise wird die Variable entfernt, die das geringst und nicht-signifikante Dekrement zeigt

solange, bis nur noch signifikante Variablen übrig bleiben

Während Vorwärtsselektion wird nach jeder Aufnahme geprüft, ob ein Prädiktor nicht-signifikant geworden ist, dieser wird dann entfernt

solange bis kein Prädiktor mehr aufgenommen werden kann, der noch einen zusätzlichen Beitrag leistet und kein nicht-signifikanter Prädiktor im Modell ist

Test von theoretischen Modellen vs. maximale Varianzaufklärung bei minimaler Modellkomplexität

Risiko von Overfitting (Aufnehmen irrelevanter Prädiktoren) vs. Risiko von Capitalizing on Chance (Auswahl wird durch Stichprobenfehler beeinflusst) und Underfitting (Ausschluss theoretisch relevanter Prädiktoren)

weniger effizient vs. effizient, aber weniger präzise

eine Form der Standardisierung

von jedem beobachteten Wert einer Variablen wird der Mittelwert dieser Variablen abgezogen

Variablen, bei denen der Wert 0 keine Bedeutung hat oder außerhalb des Wertebereiches liegt, sollten zentriert werden

• durch eine Zentrierung von Variablen wird ihre Korrelation mit der Produktvariablen kleiner

  • Zentrierung verringert Multikollinearität

• Regressionsgewicht, Standardfehler und Signifikanzprüfung der Moderatorvariablen ändert sich nicht

• Regressionsgewicht der Prädiktorvariablen ändert sich

• Standardfehler der Prädiktorvariablen wird kleiner

• Determinationskoeffizient und und Verlauf der bedingten Regressionsgeraden bleibt gleich

b0 = geschätzter Wert für mittlere Ausprägungen in X1 und X2

b1 = Einfluss von X1 für mittlere Ausprägungen in X2

b2 = E1nfluss von X2 für mittlere Ausprägungen in X1

Regressionsfunktion für eine bestimmte Ausprägung der Moderatorvariablen

Bereich der Moderatorvariable, für den die bedingten Regressionskoeffizienten signifikant von 0 verschieden sind

Dummy-Kodierung

-> Vergleich mit einer Referenzgruppe

Effektkodierung

-> Vergleich mit dem (ungewichteten) Gesamtmittelwert

Achsenabschnitt b0 = Mittelwert der Referenzkategorie

Gewichtungskoeffizienten: Differenz zwischen dem jeweiligen Gruppenmittelwert und dem Mittelwert der Referenzgruppe

gewichtet: Berpcksichtigung der Anzahl der Werte in den einzelnen Gruppen

ungewichtet: keine Berücksichtung der Anzahl der Werte

Referenzkategorie hat auf alles Kodiervariablen -1

Jede Kodiervariable hat für nur eine Kategorie den Wert 1, für die Referenzkategorie den Wert -1 und für alle anderen den Wert 0

Achsenabschnitt b0 = ungewichteter Mittelwert aller Gruppen

Gewichtungskoeffizienten = Differenz zwischen dem jeweiligen Gruppen-Mittelwert und dem ungewichteten Gesamt-Mittelwert

1. Bedingte Wahrscheinlichkeiten

2. Wettquotient

3. Logit

• Form einer Ogive

• Strebt für -> +∞ gegen 1

• Strebt für -> -∞ gegen 0

• Stärkste Steigung im Wendepunkt -> Unterschiede in X haben besonders starken Einfluss

Bestimmt die Wahrscheinlichkeit von Y=1 für den Wert 0 von X

bestimmt die Steigung der Wahrscheinlichkeitsfunktion

-> Wie stark wirken sich Unterschiede in X auf die Wahrscheinlichkeit aus?

wenn positiv -> mit steigenden X-Werten nimmt die Wahrscheinlichkeit für Y=1 zu

wenn negativ -> mit steigenden X-Werten nimmt die Wahrscheinlichkeit für Y=1 ab

≠ multiple Regression (kleinste Quadrate Kriterium), sondern Maximum Likelihood Methode

• iteratives Verfahren, die Parameter werden solange adjustiert, bis sich keine Verbesserung zeigt

Wahrscheinlichkeit für das Auftreten der in der Untersuchung beobachteten Daten unter der Annahme, dass die geschätzte Regressionsfunktion stimmt

entspricht dem Verhältnis einer Wahrscheinlichkeit und ihrer Gegenwahrscheinlichkeit

Drei Möglichkeiten:

z-Test (Regressionsgewicht geteilt durch seinen Standardfehler)

• asymptotisch normalverteilt

Wald-Test = qaudrierter z-Test

• Prüfung über Chi2-Verteilung

Likelihood-Ratio Test

• Vergleicht die Likelihood zweier Modelle miteinander

  • mit vs. ohne Prädiktor

  • Differenz der Likelihood wird über Chi2-Verteilung auf Signifikanz geprüft

Zusammenhang zwischen X und Y hat innerhalb der Gruppen ein anderes Vorzeichen als zwischen den Gruppen

Bestimmung der Gruppenunterschiede

Vergleich für komplexere Modelle

Index m für die Personen

Index i für die Gruppen

Varianz des Level 1 Residuums

Varianz des Level 2 Residuums bezüglich des Achsenabschnitts

Varianz des Level 2 Residuums bezüglich des Steigungskoeffizienten

Kovarianz der Level 2 Residuen bezüglich Achsenabschnitt und Steigungskoeffizienten

Mittelwert der gruppenspezifischen Achsenabschnitts

Mittelwert der gruppenspezifischen Steigungen

1. Die Anzahl zur Verfügung stehender Informationen muss mindestens so groß sein wie die Anzahl zu schätzender Parameter

2. Für jeden Faktor muss mindestens eine Ladung auf einen festen Wert (≠0) oder die Varianz des Faktors auf einen festen Wert (≠0) festgelegt werden

3. Das Modell ist identifiziert, wenn es für jeden Faktor mindestens drei mainfeste Variablen gibt, die nur auf einem Faktor laden und die Residualvariablen unkorreliert sind

4. Gibt es für einen Faktor nur zwei manifeste Variablen und ist dieser mit den anderen Faktoren unkorreliert, müssen beide Ladungskoeffizienten dieses Faktors fixiert werden. Alternativ kann die Varianz des Faktors fixiert und die Ladung beider Variablen gleichgesetzt werden

• …die Modellrestriktionen erfüllt

• …der beobachteten Varianz-Kovarianz-Matrix möglichst nahe kommt

häufig mit Maximum-Likelihood Methode

danach kann die Abweichung der implizierten Matrix von der beobachteten Matrix auf Signifikanz geprüft werden

multivariate Normalverteilung

Gesamtmaß zur Beurteilung der Modellanpassungsgüte

wird aus den Zellen der Residualmatrix berechnet: Quadratwurzel aus dem Mittelwert der quadrierten Residuen

Maß für die Gesamtabweichung der beiden Varianz-Kovarianz-Matrizen

-> Formel entspricht dem Standardschätzfehler der Regression!

Closeness-of-Fit Koeffizient für die Modellanpassungsgüte

beschreibt, ob der Unterschied zwischen den Varianz-Kovarianz-Matrizen nicht zu groß ist

RMSEA sollte < .05 sein

• Residuen als Differenz vom empirischen und implizierten Wert für jede Zelle der Matrix

  • alle sollten möglichst klein sein

• standardisierte Residuen: Residuen werden durch ihren Standardfehler geteilt -> z-Wert

  • weicht dieser signifikant von 0 ab?

Fehler + variablenspezifischer Anteil

Datenreduktion: Information vieler Variablen soll zusammengefasst werden

-> wie viele Faktoren werden benötigt, um die Zusammenhänge zwischen den beobachteten Variablen zu beschreiben/erklären?

• Bartlett-Test muss signifikant sein -> H1: in der Population gibt es eine Korrelation >0

  • prüft, ob sich die beobachtete Korrelationsmatrix von der Einheitsmatrix unterscheidet

• Kaiser-Meyer-Olkin Kriterium: muss auf jeden Fall > 0.5, möglichst größer > 0.8 sein

Um die “Grunddimensionen” (also die Faktoren) eines Konstruktes bestimmen zu können, müssen diese in den manifesten Variablen und dabei bei der Auswahl der manifesten Variablen bekannt sein.

Bei der Konstruktion der Items muss also schon eine Vorstellung über den untersuchten Gegenstandsbereich existieren

1. Auswahl der Variablen (Fragen/Items)

   • wichtig:

     • substanzielle Korrelation zwischen den Variablen

     • Variablen repräsentieren den Gegenstandsbereich angemessen

     • Stichprobe ist nicht zu eingeschränkt

2. Extraktion der Faktoren

3. Bestimmung der Anzahl der Faktoren

4. Rotation der Faktoren

5. Interpretaion der rotierten Faktoren

6. ggf. Bestimmung von Faktorwerten ( = Stärke der Ausprägung der Faktoren für jede Person)

nur die Grunddimensionen, die in den Variablen enthalten sind, können auch entdeckt werden

Kommunalität darf nicht wesentlich geringer sein als die Reliabilität, da sonst die variablenspezifischen Anteile zu groß sind

-> Residualvariable sollte möglichst nur den Messfehler beinhalten

Varianzanteil einer mainfesten Variablen, der durch die Faktoren erklärt werden kann

-> entspricht also dem Determinationskoeffizienten in der Regression

gibt an, wie viel von der Gesamtvarianz aller Variablen durch einen bestimmten Faktor erklärt wird

Summe der quadrierten Ladungen aller Variablen auf diesem Faktor

Range 0 - Max, mit max = Anzahl an Variablen (da alles Variablen durch Standardisierung eine Varianz von 1 haben)

Kaiser-Kriterium

• alle Faktoren, deren Eigenwert ≥ 1 ist, werden ausgewählt

• (1 -> Varianzaufklärung einer Variablen)

Scree-Test

• Alle Faktoren links vom “Knick” in der Funktion werden aufgenommen

Parallelanalyse

• Vergleich des Eigenwertverlaufs der gewählten Faktoren mit denen von simulierten Zufallsvariablen

• Die Eigenwerte, die höher sind als die der Parallelanalyse, werden gewählt

• weniger subjektiver als der Scree-Test, deswegen empfohlen

Probability-Probability Plot: exploratives, grafisches Werkzeug

die beobachteten kumulierten Häufigkeiten werden gegen die unter einer bestimmten Veteilung erwarteten kumulierten Häufigkeiten aufgetragen

Bei Vorliegen der entsprechenenden Verteilung liegen die Pünkte auf der Diagonalen

Quantil-Quantil Plot: exploratives, grafisches Werkzeug, in dem die Quantile zweier statistischer Variablen gegeneinander abgetragen werden

-> beobachtete vs. erwartete Quantile

= gleiche Varianzen der AV für alle Ausprägungen der Prädiktoren

= gleiche Varianzen der Residuen für alle Ausprägungen der Prädiktoren

entspricht Varianzhomogenität bei der ANOVA

korrekte Schätzung der Regressionsgleichung, aber faösche Schätzung der Standardfehler

Identifikation über Residuenplot

Residuen in Abhängigkeit vom vorhergesagten Wert

• hilft bei der Entdeckung von Fehlspezifikationen des Modells

• man schaut, ob für alle Ausprägungen der AV die Residuen um 0 streuen und ob diese Streuung überall etwa gleich groß ist

perfekter Residuenplot:

• Streuung der Residuen ist über den gesamten Wertebereich etwa konstant (Anzahl über den gesamten Wertebereich muss nicht konstant sein)

• haben über den gesamten Wertebereich einen Mittelwert von 0

generelle Annahme bei fast allen inferenzstatistischen Verfahren

verletzt, wenn sich bestimmte Werte der AV/Residuen systematisch ähnlicher sind als andere, entsteht odt durch Fehler bei der Versuchsplanung oder -durchführung

• bei mehrstufiger Stichprobenauswahl (Klumpenstichprobe)

• bei serieller Abhängigkeit

• Verletzung führt zu korrekter Schätzung der Regressionsgleichung, aber (deutlicher) Unterschätzung der Standardfehler

Abhilfe: Gründe für Abhängigkeit ins Modell aufnehmen

= hohe multiple Korrelation zwischen einem Prädiktor und den anderen Prädiktoren

führt zu einer unpräzisen Schätzung des Regressionsgewichtes (großer Standardfehler)

sehr hohe Multikollinearität tritt auf, wenn

• ein Prädiktor in die Berechnung eines anderen eingeht (Interaktionseffekt)

• mehrere Indikatorien eines Konstruktes oder zweier sehr ähnlicher Konstrukte als UVs verwendet werden

• ein ähnliches oder das gleiche Maß zu mehreren Messzeitpunkten erhoben und alle als UV verwendet werden

wenn die Korrelation zwischen Prädiktorvariablen sehr hoch ist (quadrierte multiple Korrelation > .80)

Toleranzfaktor TOL = 1 - R2

R2 = quadrierte multiple Korrelation zwischen dem Prädiktor X und allen anderen Prädiktoren

TOL = 0 -> R2 = 1: exakte Multikollinearität

TOL = 1 -> R2 = 0: Prädiktor ist mit anderen Prädiktoren unkorreliert

Varianzinflationsfaktor VIF = 1/TOL

VIF = 1 -> unkorreliert

VIF > 5 -> hohe Multikollinearität

VIF > 10 -> sehr hohe Multikollinearität

Zentrierung

Eliminieren von Prädiktoren

Aggregation:

• hoch korrelierende Variablen werden zunächst zusammengefasst (Mittelwert), ergibt Sinn, wenn sie das gleiche Konstrukt erfassen

faktorenanalytische Reduktion

Extreme Werte auf den Prädiktoren

Extreme Werte auf der AV und den Residuen

nicht jeder Ausreißer muss ein einflussreicher Datenpunkt sein

können einen größeren Einfluss auf die Regressionsfunktion haben als mittlere Ausprägungen

Mahalanobis: standardisierte Abweichung vom Mittelwert, bezogen auf alle Prädiktoren

Hebelwert/zentrierter Hebelwert: “Wirkung” eines Wertes auf die Regressionsfunktion, berechnet sich ebenfalls aus der Abweichung der UVs von ihrem Mittelwert

Schwellenwerte für zentrierte Hebelwert

bei kleinen Stichproben 2k/n

bei großen Stichproben 3k/n

lassen sich oft über die Residuen identifizieren

standardisierte/studentisierte Residuen

Visualisierung von Residuen z.B. in Boxplots

DfBETA/DfBETAS

DfFIT/DfFITS

Cooks Distanz

zur Berechnung wird in der Regel der jeweilige Datenpunkt aus dem Datensatz entfernt und ermittelt, wie stark sich die einzelnen Parameter der Regressionsgleichung ändern

Einfluss eines einzelnen Datenpunktes auf die Schätzung der Regressionskoeffizienten

= Differenzen in den Regressionsgewichten mit und ohne diesen Datenpunkt, DfBETA-0 und DfBETA-1

s = standardisiert (DfBETA geteilt durch Standardfehler der REgressionskoeffizienten)

Einfluss eines einzelnen Datenpunkts auf die Schätzung der vorhergesagten Werte

= Differenz zwischen den vorhergesagten Werten mit und ohne diesen Datenpunkt, ein Wert pro Datenpunkt

DfFITS = standardisiert (= DfFIT geteilt durch den Standardfehler der vorhergesagten Werte (berechnet ohne diese Person))

basiert auf den quadrierten DfFITS-Werten

-> nur positive Werte

Schwellenwerte basieren auf der F-Verteilung

df1: k + 1

df2: n-k-1

alpha = .50

einzigartiger Fall -> ausschließen

bekannte Subpopulationen -> Subpopulationen kontrollieren

unbekannte Subpopulationen -> Mischverteilungsmodelle

Sensitivitätsanalysen

robuste Regressionsmethoden als Alternative wählen

kein p-hacking betreiben

eien hohe bivariate Korrelation zwischen zwei Prädiktoren deutet daraufhin, dass der zweite Prädiktor irrelevante Varianz im ersten Prädiktor absorbieren/unterdrücken kann und sich dadurch die Vorhersage verbessert

• …ein Prädiktor die Vorhersagekraft eines anderen Prädiktors erhöht

• sein Beitrag in der multiplen Regression deutlich höher ist als sein Bietrag (r2) in der einfachen Regression

es kann auch zu einer Umkehr des Vorzeichens zwischen dem Regressionsgewicht in der multiplen Regression und dem Regressionskoeffizienten der einfachen Regression kommen