(Folie 3) Wozu dient die multiple Regressionsgleichung?
Zur Vorhersage einer Kriteriumsvariablen durch mehrere Prädiktoren
Das Kriterium muss metrisch sein.
Als Prädiktoren sind zulässig:
metrische Variablen
dichotome Merkmale (meist 0/1 codiert)
(Folie 3) Warum wird die multiple Regression zunächst mit zwei Prädiktoren erklärt?
Die Logik der multiplen Regression mit k Prädiktoren lässt sich am einfachsten am Fall von zwei Prädiktoren veranschaulichen.
(Folie 4) Wie lautet die Regressionsgleichung für zwei Prädiktoren?
Regressionsgleichung:
Dabei:
b₀ = y-Achsenabschnitt
b₁ = partielles Regressionsgewicht von x₁
b₂ = partielles Regressionsgewicht von x₂
(Folie 4) Nach welchem Prinzip werden die Regressionskoeffizienten bestimmt?
Die Regressionskoeffizienten werden nach dem Kriterium der kleinsten Quadrate (OLS) bestimmt.
(Folie 5) Welche Größen werden bei zwei Prädiktoren berechnet?
Es werden bestimmt:
Regressionsgewicht b₁
Regressionsgewicht b₂
y-Achsenabschnitt b₀
Die Formeln ergeben sich bei Anwendung der Methode der kleinsten Quadrate.
(Folie 6) Welche Rolle spielt das Residuum e im Regressionsmodell?
Das Residuum e beschreibt:
den Teil von y, der nicht durch die Regressionsgleichung vorhergesagt werden kann.
Im Populationsmodell entspricht es dem Fehler.
(Folie 6) Was zeigt das Pfaddiagramm der multiplen Regression?
Das Diagramm zeigt:
x₁ → y mit b₁
x₂ → y mit b₂
Zusammenhang zwischen x₁ und x₂ durch r₁₂
zusätzlich den Fehlerterm e, der auf y wirkt.
(Folie 6) Wie kann man eine multiple Regression mit zwei Prädiktoren geometrisch darstellen?
Sie lässt sich als Regressionsebene darstellen.
Für jede Kombination von x₁ und x₂
liegen die vorhergesagten Werte von y
auf einer Ebene.
(Folie 7) Wie wird die partielle Steigung b₁ interpretiert?
b₁ beschreibt:
Den erwarteten Unterschied des Kriteriums y, wenn sich zwei Personen
um eine Einheit in x₁
bei gleichem x₂
unterscheiden.
(Folie 7) Warum heißt b₁ “partielle” Steigung?
Weil der Effekt von x₁
unter Konstanthaltung von x₂
interpretiert wird.
(Folie 8) Welche Forschungsfrage wird im BMI-Beispiel untersucht?
Es wird untersucht:
Wie stark ist der Effekt von Training auf den BMI
unter Kontrolle der Ernährungsqualität?
(Folie 8) Welche Variablen werden im BMI-Beispiel verwendet?
Kriterium (y): BMI
Prädiktor x₁: Training
operationalisiert als Energieverbrauch in 100 kJ
Prädiktor x₂: Ernährungsqualität
Expertenrating von 1–10
(Folie 9) Wie wird das multiple Regressionsmodell in R geschätzt?
Die Folie zeigt folgenden Ablauf:
Modell schätzen:
lm(BMI ~ Training + Ernaehrung)
Ergebnisse ausgeben:
summary(m)
(Folie 9) Welche Regressionskoeffizienten liefert das R-Output?
Das Output zeigt:
Intercept: 30.2196
Training: −0.7501
Ernährung: −1.0320
Zusätzlich werden für jeden Koeffizienten angezeigt:
Standardfehler
t-Wert
Signifikanz
(Folie 10) Wie lautet die Regressionsgleichung des BMI-Beispiels?
Die Vorhersage berücksichtigt beide Prädiktoren gleichzeitig.
(Folie 10) Wie wird der Koeffizient von Training in der multiplen Regression interpretiert?
Unterscheiden sich zwei Personen
um eine Einheit im Training
bei gleicher Ernährungsqualität,
dann unterscheiden sich ihre vorhergesagten BMI-Werte um −0,75.
(Folie 10) Welchen Steigungskoeffizienten erhält man in der einfachen Regression von BMI auf Training?
Bei einer einfachen Regression (ohne Ernährungsqualität):
b=-1.343
Dieser Wert unterscheidet sich vom partiellen Regressionsgewicht der multiplen Regression.
(Folie 10) Warum unterscheiden sich die Steigungskoeffizienten der einfachen und multiplen Regression?
In der einfachen Regression wird die Ernährungsqualität ignoriert.
Dadurch wird:
ein Teil der Vorhersagekraft der Ernährung
fälschlicherweise dem Training zugeschrieben.
Die Folie bezeichnet Ernährung hierbei als omitted variable.
(Folie 10) Welche Aussage trifft die Folie zur statistischen Kontrolle?
Ohne statistische Kontrolle der Ernährungsqualität
unterscheiden sich Personen mit unterschiedlichem Training
gleichzeitig systematisch hinsichtlich ihrer Ernährungsqualität.
Dadurch verändert sich der geschätzte Effekt des Trainings.
(Folie 10) Welchen Unterschied verdeutlicht das Streudiagramm?
Das Diagramm zeigt den Zusammenhang zwischen
Training
BMI
für die einfache Regression.
Dabei beträgt die Steigung:
und ist damit stärker negativ als in der multiplen Regression.
(Folie 11) Warum werden Regressionskoeffizienten häufig standardisiert?
Die Einheiten der Variablen sind häufig willkürlich gewählt.
Deshalb werden zur besseren Interpretierbarkeit häufig alle Variablen z-transformiert (standardisiert).
(Folie 11) Welche Transformation wird zur Standardisierung verwendet?
Es wird die z-Transformation verwendet.
Dadurch werden:
Mittelwert = 0
Standardabweichung = 1
für alle standardisierten Variablen erreicht.
(Folie 11) Wie lautet die Regressionsgleichung mit standardisierten Variablen?
Die Vorhersage erfolgt mit den z-transformierten Variablen:
Dabei sind B₁ und B₂ die standardisierten (Beta-)Gewichte.
(Folie 11) Welche Eigenschaften besitzen z-transformierte Variablen?
Nach der z-Transformation gilt:
für
das Kriterium
alle Prädiktoren.
(Folie 11) Wie können standardisierte Regressionsgewichte in R berechnet werden?
Die Folie nennt zwei Möglichkeiten:
scale() innerhalb der Formel von lm()
Funktion lm.beta() aus dem Paket lm.beta
(Folie 12) Wie wird das Beta-Gewicht aus einem unstandardisierten Regressionsgewicht berechnet?
Das standardisierte Regressionsgewicht ergibt sich aus:
Dabei sind:
bⱼ = unstandardisiertes Regressionsgewicht
sⱼ = Standardabweichung des Prädiktors
sᵧ = Standardabweichung des Kriteriums.
(Folie 12) Wie lautet die Beispielrechnung für das Beta-Gewicht des Trainings?
Gegeben:
b₁ = −0,75
s_j = 2,121
sᵧ = 3,504
Berechnung:
(Folie 12) Wie wird das Beta-Gewicht B₁ interpretiert?
Der vorhergesagte Unterschied des standardisierten Kriteriums zweier Personen,
die sich bezüglich x₁ um eine Standardabweichung unterscheiden
und bezüglich x₂ gleich sind,
beträgt B₁ Standardabweichungen.
(Folie 12) Wie lautet die Interpretation des BMI-Beispiels?
bezüglich der Trainingsintensität um eine Standardabweichung
dann unterscheiden sich ihre vorhergesagten BMI-Werte um −0,454 Standardabweichungen.
(Folie 12) Welchen Vorteil bieten Beta-Gewichte?
Durch die Standardisierung besitzen alle Variablen dieselbe Skala.
Dadurch werden die Regressionskoeffizienten besser interpretierbar.
(Folie 13) Wie lautet die Regressionsgleichung für k Prädiktoren?
Die Vorhersagegleichung lautet:
Dabei gilt:
b₀ = Achsenabschnitt
b₁ bis bₖ = partielle Regressionsgewichte der einzelnen Prädiktoren.
(Folie 13) Überträgt sich die Interpretation der Regressionskoeffizienten auf mehrere Prädiktoren?
Ja.
Die Bedeutung der Regressionskoeffizienten lässt sich analog zum Fall mit zwei Prädiktoren interpretieren.
(Folie 13) Werden auf der Folie Berechnungsformeln für mehrere Prädiktoren angegeben?
Nein.
Die Folie verzichtet auf die Darstellung der Berechnungsformeln und verweist lediglich auf Matrixalgebra in der Literatur.
(Folie 14) Wie wird der Achsenabschnitt b₀ interpretiert?
b₀ ist der vorhergesagte Wert des Kriteriums für eine Person,
deren alle Prädiktoren den Wert 0 besitzen.
(Folie 14) Warum ist b₀ häufig schwer sinnvoll zu interpretieren?
Bei unstandardisierten Prädiktoren besitzt der Wert 0 häufig keine sinnvolle Bedeutung.
Beispiele auf der Folie:
Alter
IQ
Gewicht
(Folie 14) Wovon hängt die Regressionskonstante b₀ ab?
Sie hängt ab von:
den Mittelwerten der abhängigen Variable
den Mittelwerten der unabhängigen Variablen
den Regressionsgewichten bⱼ.
(Folie 15) Wie wird der Regressionskoeffizient bⱼ interpretiert?
bⱼ beschreibt den vorhergesagten Unterschied des Kriteriums zweier Personen,
die sich bezüglich xⱼ um eine Einheit unterscheiden
und bezüglich aller übrigen Prädiktoren identisch sind.
(Folie 15) Wie wird das standardisierte Beta-Gewicht bei mehreren Prädiktoren berechnet?
Die Formel lautet:
Sie entspricht derselben Berechnung wie beim Fall mit zwei Prädiktoren.
(Folie 16) Wie zerlegt sich die Quadratsumme des Kriteriums?
Die gesamte Quadratsumme zerfällt in:
erklärte Quadratsumme
Fehlerquadratsumme
(Folie 16) Was beschreibt der Determinationskoeffizient R²?
R² gibt den Anteil der gesamten Variation des Kriteriums an,
der durch das lineare Vorhersagemodell mit k Prädiktoren erklärt werden kann.
(Folie 16) Welche drei Varianzanteile werden auf der Folie unterschieden?
Die Folie unterscheidet:
gesamte Variation des Kriteriums
durch das Modell erklärte Variation
Variation der Vorhersagefehler.
(Folie 17) Welchen Zusammenhang gibt es zwischen R und R²?
R = multiple Korrelation zwischen y und den vorhergesagten Werten ŷ
R² = quadrierte multiple Korrelation
(Folie 17) Wie wird die multiple Korrelation R definiert?
Sie ist die bivariate Korrelation
zwischen
dem Kriterium y
den vorhergesagten Werten ŷ.
(Folie 17) Welche zwei Berechnungswege für R² nennt die Folie?
R² kann berechnet werden über:
die Quadratsummen
die quadrierte multiple Korrelation
Beide Wege sind äquivalent.
(Folie 18) Zwischen welchen Werten liegt R²?
(Folie 18) Was bedeutet ein höheres R²?
Ein höheres R² bedeutet,
dass das Kriterium y besser durch die Prädiktoren vorhergesagt werden kann.
(Folie 18) Was passiert mit R², wenn ein weiterer Prädiktor hinzugefügt wird?
R² kann nicht abnehmen, wenn ein weiterer Prädiktor in das Modell aufgenommen wird.
(Folie 18) Wie verhält sich R² zu den quadrierten Einzelkorrelationen?
(Folie 19) Warum wird ein korrigierter Determinationskoeffizient verwendet?
Weil R² den wahren Determinationskoeffizienten der Population überschätzt.
(Folie 19) Wie heißt der korrigierte Determinationskoeffizient?
Er heißt:
korrigierter Determinationskoeffizient
adjusted R².
(Folie 19) Was wird auf der Folie zum adjusted R² erwähnt?
Die Folie weist darauf hin,
dass verschiedene Korrekturformeln existieren,
welche die Überschätzung von R² korrigieren.
(Folie 20) Wie lautet das Populationsmodell der multiplen Regressionsanalyse?
Das Populationsmodell lautet:
Dabei bezeichnet:
E(y | x₁,…,xₖ) den bedingten Erwartungswert von y
gegeben allen unabhängigen Variablen.
(Folie 20) Warum werden zusätzliche Annahmen benötigt?
Für die inferenzstatistische Absicherung des Modells müssen zusätzliche Annahmen erfüllt sein.
(Folie 21) Welche vier Annahmen nennt die Vorlesung?
Linearität
Homoskedastizität
Normalverteilung
Unabhängigkeit der Fehlerterme
(Folie 21) Was bedeutet die Annahme der Linearität?
Der bedingte Erwartungswert des Kriteriums
ist eine lineare Funktion der Prädiktoren.
(Folie 21) Was bedeutet Homoskedastizität?
Die Varianz der y-Werte
für eine bestimmte Kombination der Prädiktorwerte
ist über alle Prädiktorkombinationen konstant.
Diese Varianz entspricht der Varianz der Fehlerterme.
(Folie 21) Was bedeutet die Annahme der Normalverteilung?
Für jede Kombination der Prädiktorwerte
sind die y-Werte normalverteilt.
Dies ist gleichbedeutend mit der Annahme normalverteilter Fehlerterme.
(Folie 21) Was bedeutet die Unabhängigkeit der Fehlerterme?
Die Fehlerterme εᵢ
werden als unabhängig voneinander angenommen.
(Folie 22) Welche Nullhypothese wird für den Determinationskoeffizienten getestet?
Es wird geprüft:
H₀: ρ² = 0
also:
Der Determinationskoeffizient der Population ist gleich Null.
(Folie 22) Welche Aussage ist zu H₀ äquivalent?
Die Nullhypothese ist äquivalent zu:
Alle Steigungskoeffizienten der Population sind gleich Null.
(Folie 22) Welche Alternativhypothese wird geprüft?
Mindestens ein Steigungskoeffizient
ist ungleich Null.
(Folie 22) Welche Prüfgröße wird für das Gesamtmodell verwendet?
Es wird eine F-Prüfgröße
verwendet.
Unter H₀ folgt sie einer F-Verteilung.
(Folie 22) Welche Freiheitsgrade besitzt der F-Test?
Zählerfreiheitsgrade: k
Nennerfreiheitsgrade: n-k-1
(Folie 23) Welche Werte besitzt das BMI-Beispiel?
R² = 0,889
n = 9
α = 0,05
(Folie 23) Welchen kritischen F-Wert nennt die Vorlesung?
Der kritische Wert beträgt:
(Folie 23) Welchen F-Wert ergibt das Beispiel?
Es ergibt sich
F=24,0
(Folie 23) Welche Entscheidung wird getroffen?
Da
24,0>5,14
wird die Nullhypothese verworfen.
Es wird angenommen,
dass Training und Ernährung gemeinsam Variation im BMI erklären.
(Folie 23) Welchen p-Wert nennt das Beispiel?
Der p-Wert beträgt 0,0014.
(Folie 24) Welche Hypothese wird für ein partielles Regressionsgewicht getestet?
H₀: βⱼ = 0
H₁: βⱼ ≠ 0
(Folie 24) Welche Testverteilung wird verwendet?
Es wird eine
t-Verteilung
(Folie 24) Wie viele Freiheitsgrade besitzt der t-Test?
df=n-k-1
(Folie 25) Wovon hängt der Standardfehler eines partiellen Regressionsgewichts ab?
Der Standardfehler hängt von drei Größen ab:
Standardschätzfehler des Gesamtmodells
Quadratsumme des Prädiktors
Toleranz des Prädiktors
(Folie 25) Wodurch unterscheidet sich die Formel der multiplen Regression von der einfachen Regression?
Die Formeln unterscheiden sich
um den Faktor
(Folie 26) Was beschreibt die Toleranz eines Prädiktors?
Die Toleranz
bezeichnet den Anteil der Gesamtvariation eines Prädiktors,
der nicht linear mit den anderen Prädiktoren zusammenhängt.
(Folie 26) Wie berechnet sich die Toleranz?
ist der Determinationskoeffizient der Hilfsregression,
bei der der betrachtete Prädiktor die abhängige Variable ist.
(Folie 27) Was passiert, wenn ein Prädiktor gut durch die übrigen Prädiktoren vorhergesagt werden kann?
Dann wird das partielle Regressionsgewicht ungenauer geschätzt.
Der Standardfehler wird größer.
(Folie 27) Wann ist der Varianzinflationsfaktor groß?
Wenn ein Prädiktor
hoch mit den übrigen Prädiktoren korreliert.
(Folie 27) Was bedeutet ein hoher Varianzinflationsfaktor?
Ein hoher VIF
führt zu
größerem Standardfehler
höherer Schätzunsicherheit der partiellen Regressionsgewichte.
(Folie 27) Warum erhöht hohe Korrelation zwischen Prädiktoren den Standardfehler?
Weil ähnliche Informationen enthalten sind.
Dadurch wird es schwierig,
die Schwankungsanteile einzelnen Prädiktoren eindeutig zuzuordnen.
(Folie 28) Wann liegt Multikollinearität vor?
Multikollinearität liegt vor,
wenn ein Prädiktor sehr gut durch die übrigen Prädiktoren vorhergesagt werden kann.
(Folie 28) Woran erkennt man Multikollinearität?
hohem R_j^2
niedriger Toleranz
hohem VIF.
(Folie 28) Welches Zahlenbeispiel zeigt die Vorlesung?
R² = 0,90
Daraus folgt:
Toleranz = 0,10
VIF = 10
(Folie 28) Ist Multikollinearität eine Eigenschaft der Prädiktoren oder des Kriteriums?
Sie ist eine Eigenschaft der Prädiktoren.
Das Kriterium spielt dabei keine Rolle.
(Folie 28) Welche Daumenregel nennt die Vorlesung für den VIF?
Ab einem
Varianzinflationsfaktor > 10
liegt ein Problem vor,
das beachtet werden sollte.
(Folie 28) Wie kann Multikollinearität behoben werden?
Die Vorlesung nennt zwei Möglichkeiten:
einen oder mehrere Prädiktoren aus dem Modell entfernen
Prädiktoren geeignet transformieren.
Last changed3 days ago
