Regressionsdiagnostik

Zur Beseitigung der Heteroskedastitizät

Die Normalverteilungsannahme besagt, dass die Störgröße mit einem Mittelwert von 0 und einer gleichen Varianz für jede Kombination von X-Werten einer Normalverteilung folgt

Graphische Gegenüberstellung der beobachteten Quantile der studentisierten Residuen der logarithmisch transformierten Y-Variable (rechtsextreme Wahl, X-Achse) mit denerwarteten Quantilen der Standardnormalverteilung (Y-Achse)

• Q-Q-Diagramm wird verwendet, um Verstöße gegen die Normalitätsannahme an den Rändern der Verteilung festzustellen

-> Ausreißerwerte stark identifizierbar

• Die OLS-Regression wäre nicht mehr effizient

• Der Standardfehler ist verzerrt geschätzt

Lösung: robuste Standardfehler

Graphische Gegenüberstellung der beobachteten kumulierten Wahrscheinlichkeiten der z-transformierten Residuen der logarithmisch transformierten Y-Variable (X-Achse) mit den erwarteten kumulierten Wahrscheinlichkeiten der Standardnormalverteilung (Y-Achse)

• mit dem P-P-Diagramm lassen sich gut Verstöße gegen die Normalitätsannahme in der Mitte der empirischen Verteilung entdecken

Modellannahme 5 zufolge darf keine X-Variable (der Regressionsanalyse) eine Linearkombination von anderen X-Variablen sein

-> d.h. eine X-Variable darf nicht durch eine andere X-Variable vorhergesagt werden

• Es wird erwartet, dass die Residuen genau auf der Diagonalen im Diagramm liegen

• Der VIF gibt an, um welchen Faktor sich die (geschätzte) Varianz eines Regressionskoeffizienten bj im Vergleich zur vollkommenen Abwesenheit von Multikollinearität erhöht

Minimum 1: keine Multikollinearität (R² = 0)

Maximum: ist nicht definiert

= enge Abhängigkeit unter den X-Variablen eines Regressionsmodells

Folge:

• liegt eine hohe Kollinearität vor, dann wird die Präzision der Schätzung eingeschränkt

• Perfekte Multikollinearität bedeutet, dass keine X-Variable einen von anderen unabhängigen Varianzanteil besitzt

  (R²=1)

• erkennbar an: Korrelation von -1 oder 1 zwischen beiden X-Variablen

Unter Dummy-Variablen versteht man Regressoren, die nur die Werte 0 und 1 annehmen

Multikollinearität bedeutet, dass (mindestens) ein Prädiktor durch einen oder mehrere andere Prädiktoren zusammen im Wesentlichen vorhergesagt werden kann

• VIF wird größer bei zunehmender Multikollinearität

• Toleranzindex für den unstandardisierten Regressionskoeffizienten b

• Je kleiner der Toleranzindex (Tol), desto enger ist der Zusammenhang zwischen den X-Variablen und desto höher ist der Grad der Multikollinearität

Wertebereich:

0 = perfekte Multikollinearität (R² = 1)

1 = keine Multikollinearität

• größere Werte als 10 stellen ein Problem dar

• VIF<10

• kleinere Werte als 0.10 stellen ein Problem dar

• Tol = 0.10 1/10

  -> wenn der Toleranzwert größer als 0,10 ist dann liegt kein Multikollinearitätsproblem vor

empfohlene Grenzwerte:

Tol > 0,25

VIF < 4,0

• Wurzel aus dem VIF gibt an, um welchen Faktor sich der geschätzte Standardfehler eines Regressionskoeffizienten b in Abwesenheit von Multikollinearität erhöht

a) Behebung von linearen Abhängigkeiten durch Neuspezifikation des Regressionsmodells

b) X- Variablen (welche miteinander korrelierem) werden zu einem Index zusammengefasst

c) Lineartransformationen der X-Variable

d) Einsatz alternativer Schätzverfahren

Die Hebelwirkung atypischer X-Werte setzt aber nur dann ein, wenn auch die Y-Werte atypische Werte aufweisen

atypische Werte = Ausreißer

-> beachtenswerte Residuen können nur im Zusammenhang mit beachtenswerten Leverage-Werten eine große Hebelwirkung auf die geschätzte Regressionsgerade ausüben

Die Varianz der Stichprobenresiduen hängt von der Varianz der Störgröße und h für den Leverage Wert ab

Der DFBETA gibt an, um wieviele Einheiten sich der unstandardisierte Regressionskoeffizienz nach Ausschluss einer Untersuchungseinheit verändert

Fokussiert primär auf summarische Veränderungen der Regressionskoeffizienten

Streuung der Störgrößen kann dadurch gemindert werden, dass die Y-Variable geeignet transformiert wird:

• Werden die Residuen mit zunehmender X-Variable größer (LOWESS-Kurve hat ansteigende Tendenz), lässt sich dies mit einer logarithmischen Transformation der Y-Variable korrigieren

• Werden die Residuen mit zunehmender X-Variable kleiner (LOWESS-Kurve hat fallende Tendenz), lässt sich dies in mit dem Quadrieren der Y-Variable korrigieren

Wenn relevante X-Variablen aus dem Regressionsmodell ausgeschlossen werden

Mängel in der Modellspezifikation

• Eine wichtige erklärende X-Variable wurde nicht in die Regression einbezogen

• Form der Beziehung zwischen X und Y wurde nicht korrekt spezifiziert

• Ein bedeutender Anteil systematischer Varianz der abhängigen Y-Variable wurde nicht berücksichtigt

Perfekte Kollinearität kommt in der Praxis nur bei einer Fehlspezifikation des Regressionsmodells vor

Eine sehr enge Abhängigkeit unter den X-Variablen

Die Präzision der Schätzung der Regressionskoeffizienten leidet bei Vorliegen von hoher Multikollinearität