Multiple Regression

Das hier sind intervallskalierte Werte, keine nominalskalierten, deshalb kann man das nicht mit der Varianzanalyse rechnen

.Varianzanalytische Verfahren stehen nur für kategoriale UVs zur Verfügung

UV -> Prädiktor

AV -> Kriterium

i: Nummer der Person

y(i): geschätzter Wert für eine beliebige Person für die abhängige Variable

x(i): Messwert für eine beliebige Person für die Prädiktorvariable

b0: Achsenabschnitt / Intercept (der Regressionsgeraden mit der y-Achse)

b1: Steigung / slope / gradient (der Regressionsgeraden)

Bei der Regression geht es darum ein lineares Modell zu finden (Gerade, Ebene, …), dass die beobachteten Werte gut vorhersagt. Je besser das lineare Modell die beobachteten Werte vorhersagt, desto kleiner ist der Fehler.

(D.h. der Abstand zu allen Datenpunkten sollte so klein wie möglich sein)

Mit Hilfe der Methode der kleinsten Quadrate, die den Summed Squares aus der VA ähneln, können wir wieder Maße für den Anteil der Modellvarianz im Vergleich zur Fehlervarianz finden und Vorhersagen über die Güte des Modells machen

SStotal ist die Differenz~ der beobachteten Werte und dem Mittelwert

SSresidual | error ist die Differenz~ der beobachteten Werte und dem vorhergesagten Wert des Modells.

SSmodel ist die Differenz~ des Mittelwerts und dem vorhergesagten Wert des Modells.

Anteil der durch Prädiktor(en) (Xk) aufgeklärten Varianz bezüglich des Kriteriums / der Outcome Variable (Y):

• R2 *100 = Anteil der aufgeklärten Varianz durch das Modell

• Wurzel von R² = Pearson‘s Korrelationskoeffizient (gibt den Zusammenhang zwischen den Werten, die durch das Modell vorhergesagt werden und den beobachteten Werten der Outcome Variable an)

• durch Aufnahme zusätzlicher Variablen in die Regressionsgleichung steigt R2-> Gefahr von Überanpassung (Overfitting)

• Die „echten“ Korrelationen sind in der Regel deutlich niedriger.

• Dieses Phänomen wird „Shrinkage" genannt.

• Shrinkage ist umso größer, je mehr UVs einbezogen werden und je geringer der Stichprobenumfang ist. Dadurch wird die Qualität von R2 als Schätzer für die realen Verhältnisse (d.h. in der Grundgesamtheit) schlechter. Das korrigierte R2 (adjusted R2) berücksichtigt dies.

Prüft, ob die Verbesserung des Modells (linearer Zusammenhang), substanziell vom Basismodell (kein Zusammenhang) ist. Die Nullhypothese ist also, dass R2= 0 ist

• Null Modell (H0): Die Outcome Values werden durch den Mittelwert vorhergesagt (kein Zusammenhang).

• Alternativmodell (H1): Die Outcome Values werden durch den Prädiktor vorhergesagt (linearer Zusammenhang).

• Null Modell (H0): Die Outcome Values werden nur durch einen Prädiktor vorhergesagt.

• Alternativmodell (H1): Die Outcome Values werden durch mehr als einen Prädiktor vorhergesagt.

• Gibt die Veränderung in der Outcome Variable an, wenn sich der Prädiktor um eine Einheit ändert und die anderen Prädiktoren 0 sind

• je größer also bk, desto stärker ist der lineare Zusammenhang;

• wenn bk = 0, dann kein Zusammenhang

• Um also zu prüfen, ob die Veränderungen substanziell ist, prüft man ob bk signifikant von 0 abweicht.

• Das macht man mit einem t-Test

ChatGPT: Dies sind die Gewichte für jeden Prädiktor. Sie geben an, um wie viel sich die abhängige Variable ändert, wenn der entsprechende Prädiktor um eine Einheit erhöht wird, während alle anderen Prädiktoren konstant gehalten werden.

ChatGPT: Dies ist der Wert der abhängigen Variablen, wenn alle Prädiktoren den Wert 0 haben.

• Investment in Werbung klärt 33.5% der Varianz auf.

• Wenn alle Prädiktoren einbezogen werden (hier auch Häufigkeit im Radio), steigt die Varianzaufklärung auf 62,9% signifikant.

• Airplay klärt demnach 29,4 % der Varianz auf signifikant

1. Wenn Variable bereits dichotom ist, dann kodiere die eine Ausprägung mit 0 und die andere mit 1. Die Ausprägung mit 0 ist die Referenzkategorie und die Ergebnisse der anderen Ausprägung ist in Referenz zu dieser Ausprägung zu interpretieren.

2. Wenn die Variable mehr als zwei Stufen hat, dann bilde entsprechende neue dichotome Variablen, wobei es dann so viele neue Variablen gibt wie Ausprägungen -1. Die Kategorie, die überall eine 0 hat und damit nicht dargestellt wird ist die Referenzkategorie.

3. Kodiere Interaktionen zwischen zwei Prädiktoren durch Multiplikation der dummy-kodierten Variablen (geht nur bei dichotom).

4. Die Referenz (b0) ist die Gruppe, die mit 0 kodiert ist.

1. Wenn Variable bereits dichotom ist, dann kodiere die eine Ausprägung mit -1 und die andere mit 1. Die Ausprägung mit -1 ist die Referenzkategorie und die Ergebnisse der anderen Ausprägung ist in Referenz zu dieser Ausprägung zu interpretieren.

2. Wenn die Variable mehr als zwei Stufen hat, dann bilde entsprechende neue dichotome Variablen, wobei es dann so viele neue Variablen gibt wie Ausprägungen. Die Kategorie, die überall eine -1 hat und damit nicht dargestellt wird ist die Referenzkategorie.

3. Kodiere Interaktionen zwischen zwei Prädiktoren durch Multiplikation der effekt-kodierten Variablen (geht nur bei dichotom).

4. Die Referenz (b0) ist der Gesamtmittelwert.

n - 1 Prädiktoren

• Gibt den linearen Zusammen zweier Variablen an, nachdem der lineare Einfluss einer dritten Variable (die mit beiden zusammenhängt) rausgerechnet wurde à Die Partialkorrelation misst also die Stärke und Richtung der Beziehung zwischen X und Y, wenn Z konstant gehalten wird.

• Es werden quasi nur die Anteile der aufgeklärten Varianz miteinander in Beziehung gesetzt, die jeweils nicht mit der Drittvariable zusammenhängen.

• Modellformulierung: theoretische Überlegungen über Ursache-Wirkungsbeziehung, relevante Variablen, Messung etc.

• ggf. Dummy oder Effektkodierung für kategoriale Prädiktoren

• Outlieranalyse (Abschnitte im Field dazu sehr empfohlen

• Prüfung der statistischen Voraussetzungen

• Schätzung der Regressionsfunktion

• Beurteilung der Güte der Regressionsfunktion: Bestimmtheitsmaß R2, F-Statistik, Effektstärke und Anteil aufgeklärter Varianz

• Beurteilung der Güte einzelner Regressionskoeffizienten: b-Werte und β-Gewichte, t-Statistik