Multivariate Regression

Kriterien:

1. Zwischen der Variable X und der Variable Y besteht eine statistische Beziehung

2. Die Variable X geht der Variable Y kausal voran

3. Die Beziehung zwischen X und Y verschwindet nicht, wenn der Einfluss dritter Variablen die X und Y vorangehen, kontrolliert wird

Allgemeine Gleichung für die trivariate Regression:Interpretation der geschätzten Koeffizienten:a: - gibt den Vorhersagewert für Y an:

wenn alle unabhängigen Variablen den Wert 0 annehmen

a - gibt den Vorhersagewert für Y an (wenn alle unabhängigen Variablen den Wert 0 annehmen)

b1 - Maß für die Veränderung der abhängigen Variable Y, wenn X um 1 Einheit steigt und Z gleichzeitig konstant gehalten wird

b2 - Maß für die Veränderung der abhängigen Variable Y, wenn Z um 1 Einheit steigt und X gleichzeitig konstant gehalten wird

Bsp.: Handelt es sich bei dem Einfluss des Erwerbslosenanteils auf die SPD-Wahl, um eine Scheinbeziehung? (gemeinsame Ursache Z)

1. H2: Je höher der Anteil der Arbeiter/innen in einem Stimmbezirk, desto höher ist dort der SPD-Anteil

1. ist das Ergebnis signifikant, wird H1 bivariat bestätigt

   => Der Einfluss des Arbeiter- und Arbeiterinnenanteils auf den Anteil der SPD wird auf dem 1%-Niveau signifikant (p ≤ 0,01), H2 wird bivariat bestätigt

1. Aufstellen einer Nullhypothese und einer Alternativhypothese

   H0 = Zwischen dem Anteil der Erwerbslosen (X) und dem Anteil der SPD besteht kein oder ein negativer Zusammenhang (ß<0)

   HA = Je höher der Anteil an Erwerbslosen in einem Stimmbezirk, desto höher ist dort der Anteil der SPD (ß>0)

2. Überprüfung der Alternativhypothese mithilfe der Regressionsanalyse - ist das Ergebnis signifikant, wird H1 bivariat bestätigt

Problem: Es kann sich um Scheinkausalität handeln

• Bei Kontrolle für Z verschwindet der signifikante bivariate Einfluss von X auf Y

  = Scheinkausalität bedeutet also, das nur scheinbar eine Beziehung zwischen X und Y besteht

-> handelt es sich dabei um eine Scheinkausalität?

1. Überprüfung der Hypothese 3 mithilfe der bivariaten Regressionsanalyse

   H3: Je höher der Arbeiter- und Arbeiterinnenanteil in einem Stimmbezirk ist, desto höher ist dort der Anteil der Erwerbslosen

2. Drittvariablenkontrolle: Vorhersage des Anteils der SPD (Y) durch die gleichzeitige Einbeziehung von X und Z in die multivariate Regressionsanalyse

   Ergebnis:

• trifft auf Umfrageforschung zu

• geschätzte unstandardisierte Regressionskoeffizienten (b) der unabhängigen Variable verändern sich in der multivariaten Regressionsanalyse (t-Werte ebenfalls)

• ein tatsächlich positiver Einfluss von X auf Y kann auch 0 werden, wenn: eine Drittvariable einen gegenläufigen Einfluss auf die Variablen X und Y ausübt

  -> wahrer positiver Effekt von X auf Y wird unterdrückt

• dabei handelt es sich um eine scheinbare Nichtbeziehung

• T-Werte für beide b-Koeffizienten sind in der trivariaten Regression zumeist größer als in der jeweiligen bivariaten Regression

• Grund: die Residualvariation des geschätzten Standardfehlers von b wird bei zwei unabhängigen Variablen kleiner

• R² gibt in der trivariaten Regression an, welcher Anteil der Varianz von Y durch X und Z gemeinsam erklärt wird

β = rxy²= R²

• Die Korrelation entspricht bivariat dem unstandardisierten Korrelationskoeffizienten 

r XZ = 0

• unstandardisierten Regressionskoeffizienten (b) der Variablen X und Z bleiben unverändert

• standardisierte Regressionskoeffizienten (ß) der Variablen X und Z bleiben unverändert

• Addieren von R² beider Regressionsmodelle, um R² der trivariaten Regression zu bekommen

(nur T-Werte und Signifikanz ändern sich)

-> Über die standardisierten Regressionskoeffizienten ß

• Die addierten standardisierten Regressionskoeffizienten ß ergeben nicht das Bestimmtheitsmaß R²

Hängt der Einfluss eines Prädiktors X auf die abhängige Variable Y vom Einfluss eines anderen Prädiktors Z ab, spricht man von Moderation

Produktterm von X und Y:

(X * ZY)

Bsp.: Der Interaktionseffekt zwischen Kohorten und Kirchgang ist signifikant = Interaktionshypothese ist bestätigt

Effekt signifikant -> Hypothese bestätigt

Möglichkeit 1: Minimierung der quadrierten Abweichung von vorhergesagtem und tatsächlichen Wert (RSS = residual sum of squares)

Minimierung der Fehlervariable ε: Über alle Datenpunkte betrachtet soll der Vorhersagefehler so klein wie möglich sein

Der Haupteffekt gibt immer den konditionalen Effekt unter der Bedingung wieder, dass die andere am Interaktionsterm beteiligte Variable den Wert 0 aufweist

-> Einfluss des Kirchgangs auf die Einstellung zur Adoption durch homosexuelle Paare hängt von der Kohortenzugehörigkeit ab

Der Mittelwert jeder Residualvariable ist 0

Residuenregression: a = 0 - b * 0 = 0

• Interzept immer 0

• b-Koeffizient (bYX.Z) ist der unstandardisierte partielle b-Koeffizient von X auf Y bei gleichzeitiger trivariater Kontrolle für die Variable hinter dem Punkt (Z)

• unstandardisierte b-Koeffizienten mit zwei Indizes = bei bivariater Regression

auch bYZ.X kann berechnet werden

(positiver Einfluss von X auf Y kann auch 0 werden)

-> Drittvariable Z hat gegenläufigen Einfluss

• Allgemein verringert sich bei der Suppression der bivariate Effekt von X auf Y bei Nichtkontrolle für Z

• Zusammenhang zwischen Erwerbslosenanteil (X) und Anteil der SPD Wähler verschwindet bei Kontrolle für den Arbeiteranteil (Z)

Mediation: indirekter Effekt von X auf Y über Z

• Zusammenhang zwischen sozialer Lage einer Person (X) und dem Wahlverhalten (Y) verschwindet bei Kontrolle für Einstellungen (Z)

  -> indirekter Effekt von X über Z auf Y (Effekt wird über Z vermittelt)

• Soziale Lage X führt zu bestimmten polit. Einstellungen (Z), die wiederum das Wahlverhalten beeinflussen (Y)

Berechnung: Addieren von direkten und indirekten Effekt

X -> Y = totaler Effekt

• Der totale Effekt einer X-Variable entspricht dem Effekt der X-Variable im Regressionsmodell, in dem nicht für die Mediatorvariable Z kontrolliert wurde

1. Der Prädiktor (X) muss in einem Regressionsmodell ohne Kontrolle des Einflusses der Mediator-Variable einen signifikanten Effekt auf die abhängige Variable ausüben

2. Der Mediator (Z) muss einen signifikanten Effekt auf die abhängige Variable (Y) ausüben

3. Der Prädiktor (X) muss einen signifikanten Effekt auf die den Mediator (Z) ausüben

4. Der Effekt des Prädiktors (X) muss sich verringern wenn als zusätzlicher Prädiktor die Z-Variable aufgenommen wird

• Interaktionsmodell mit einer X-Variable deren Wert 0 nicht im empirischen beobachteten bereich liegt, dann ist der konditionale b-Koeffizient eine Extrapolation über den beobachteten Wertebereich hinaus

  
  

• Extrapolation = Daten außerhalb des ursprünglichen Wertebereichs der Prädiktoren vorhersagen

Da IST und SOLL zu unterschiedlichen Ergebnissen führen lassen sich konditionale Effekte für standardisierte Regressionkoeffizienten ß nicht, wie bei den unstandardisierten Regressionskoeffizienten b, nach der ersten partiellen Ableitung berechnen

• Produktterm X * Z wird in der Regressionsanalyse z-transformiert

• Dadurch erhält man den standardisierten Regressionskoeffizienten als Koeffizienten des z-transformierten Produktterms X * Z

  => Koeffizient muss für das Produkt der beiden z-transformierten Einzelkomponenten des Produktterms geschätzt werden

Lineare Regression mit zwei oder mehr Prädiktoren (X-Variablen)

Eine/mehrere Drittvariable Z hat einen eigenständigen Effekt auf die unabhängige Variable Y, sodass mehrere Ursachen unabhängig voneinander wirksam sind

Eine Variable erklärt den Zusammenhang zwischen den Variablen X und Y

Drittvariable Z wirkt auf die Beziehung zwischen X und Y

• Der Einfluss von Z ändert den Effekt von X auf Y -> Beziehung zwischen X und Y fällt abhängig von der Ausprägung von Z, unterschiedlich aus

Effekt von X auf Y ohne das man Z miteinschließt

Interpretation: Der Gesamteinfluss von X auf Y beträgt (…), mit jeder Einheit von X steigt/fällt Y um (…)

Effekt von X auf Y wenn man Z miteinschließt

Interpretation: Unabhängig von Z beträgt der Effekt von X auf Y (…) mit jeder Einheit von X steigt/ fällt Y um (…)

Effekt von X auf Y über Z (vermittelt)

Interpretation: Der über Z vermittelte Effekt von X auf Y beträgt (…) - Vermittelt über Z steigt/ fällt Y um (…) wenn X um eine Einheit steigt/ fällt