Regressionsdiagnostik

1. Unterschätzung des Regressionsgewichts (einfache Regression)

2. Verzerrte Schätzung der Regressionsgewichte (multiple Regression)

1. Sicherstellung der hohen Reliabilität der UVs

2. Verwendung von Modellen mit latenten Variablen

• Keine relevanten UV ausgeschlossen (“underfitting”)

• Keine irrelevanten UV eingeschlossen (“overfitting”)

• Die Form der Abbildung von AV auf UV ist korrekt

  
  

• verzerrte Schätzung der Regressionsgewichte

• erhöhter Prognosefehler

• verringerte Teststärke

• falsche Schlussfolgerungen

• mögliche konfundierende Variablen vor der Datenerhebung identifizieren, erheben und im Modell berücksichtigen

• Interaktive und kurvilineare Effekte von UVs prüfen

  —> Tukey-Test der Additivität wird dabei verwendet, um spezifisch auf Interaktionseffekte zwischen den unabhängigen Variablen (UVs) zu prüfen.

  Die Idee hinter dem Tukey-Test der Additivität ist, dass, wenn es signifikante Unterschiede zwischen den Gruppen in den stratifizierten Daten (also den in UV A und B aufgeteilten Daten) gibt, dies auf nicht-additive Effekte oder Interaktionen hinweisen könnte. Der Test kann dabei helfen zu entscheiden, ob es sinnvoll ist, Interaktionsterme in das Modell aufzunehmen.

  Es ist wichtig zu beachten, dass diese Vorgehensweise davon ausgeht, dass das zugrunde liegende Modell lineare Beziehungen enthält.

• Form des Zusammenhangs zwischen UV und AV exploratorisch anhand LOWESS Anpassungslinie oder geglätteten Polygonzügen analysieren

• LOWESS ist ein Glättungsverfahren

• Locally Weighted Scatterplot Smoother - Lokal gewichtete Polynomregression

• Für jeden Weer der UV xm werden eine bestimmte Anzahl von Werten um diesen Wert herum betrachtet (z.B. 20%)

• Basierend auf diesem Wertebereich wird eine Lineare Regression bestimmt und dm Wert xm der erwartete Wert y^ zugeorndet

• Das Vorgehen wird für alle xm wiederholt

Varianz der Residuen in der Population hängt nicht von den Ausprägungen der UVs ab

Bei Verletzung der Annahme:

• Punktschätzung der Parameter ist weiterhin erwartungstreu

• Standardfehler (und somit Irrtumswahrscheinlichkeiten bei Hypothesenprüfungen) sind verzerrt

• Breusch-Pagan Test/ Cook-Weisberg Test

  • Geprüft wird genauer die Nullhypothese, dass die quadriterten Residuen nicht von den UVs abhängen

• Zusätzlich sollten Residuen-Diagramme inspiziert werden (z.B. bezüglich des Zusammenhangs zwischen vorhergesagten Werden und absoluten Residuen)

• Klumpenstichproben

• mehrstufigen Auswahlverfahren

• Einzelfalluntersuchungen (Gefahr Autokorrelation)

  
  

Bei Verletzung der Annahme (also Korrelation der Residuen):

• Punktschätzung weiterhin Erwartungstreu

• Standardfehler wird unterschätzt (so wachsen Irrtumswahrscheinlichkeiten bei Hypothesenprüfungen)

• Breusch-Pagan Test ist sensitiv für Verletzung der Annahme

• Regressionsgewichte werden zwar unverzerrt geschätzt, aber bei kleinen Stichproben sind die Standardfehler nicht korrekt

• Überprüfung mit Shapiro-Wilk-Test

  (Mit dem Shapiro-Wilk-Test kann getestet werden, ob Daten normaltverteilt sind (H0) oder nicht (H1).)

• In der praxis zur Überprüfung auch heuristische Verfahren

• Histogramm der (studentisierten) Residuen

• Probability-Probability-Plot (P-P-Plot): Darstellung der geschätzten und (gemäß Normalverteilung) erwarteten kumulierten Wahrscheinlichkeiten der (studentisierten) Residuen

• Quantile-Quantile-Plot (Q-Q-Plot): Enthält dieselbe Information wie ein P-P-Plot, nur dass statt kumulierten Wahrscheinlichkeiten die Quantile der Verteilung verwendet werden

Beispiel für erfüllte Annahme:

Beispiel für verletzte Annahme:

• Fehlspezifikation des Modells ausgeschlossen?

  Dann Daten so transformieren, dass die Abweichung von der Normalverteilung geringer wird (z.B. durch logarithmische Transformation)

• Alternativ: Generalisierte Lineare Modelle (z.B., Poisson-Regression in R)

• Werte, die sich stark von den restlichen Werten unterscheiden

• Können sowohl in AV als auch in UV auftreten

• Können, müssen aber nicht zwangsläufig die Parameterschätzung verzerren

1. Mahalanobis-Distanz (dm): Standardisierte quadrierte Abweichungen des individuellen Wertes xm vom Mittelwert

   —> Je größer der Wert, desto größer die Abweichung

2. Zentrierter Hebelwert (“leverage”): Quadrierte Mahalanobis-Distanz dm geteilt durch n-1

   • Kann Werte zwischen 0 und 1-1/n annehmen

   • Anstatt sich an Schwellenwerten zu orientieren, sollte man die Verteilung der zentrierten Hebelwerte betrachten und extreme Werte inspizieren

     
     

• Betrachtung der Verteilung der Residuen

  (studentisches ausgeschlossenes Residuum als Methode der Wahl)

• Absolute Werde >3 sollten inspiziert werden

• Für den extremsten Wert lässt sich ein Bonferroni-korrigierter p-Wert unter Annahme der t-Verteilung angeben

• Werte einer Person, deren Entfernung aus dem Datensatz die Schätzung der Regressionsparameter stark verändert

• Können durch folgende Methoden identifiziert werden:

  • Änderung der Regressionskoeffizienten

  • Änderung der vorhergesagten Werte

  • Cooks Distanz

Beides zur Identifikation von Einflussreichen Datenpunkten

DfBETA

• Änderung der Regressionskoeffizienten

• Differenzen aus dem geschätzen Regressionskoeffizienten mit und ohne eine bestimmte Person in der Stichprobe

• DfBETAS = standardisierte DfBETA-Werte (an Standardfehler des entsprechenden Regressionskoeffizienten)

  • Bei kleinen Stichproben sollten absolute Werte > 1 spezifiziert werden, bei großen absolute Werte >2/Wurzel aus n

DfFIT

• Änderung der vorhergesagten Werte

• Differenzen aus dem vorhergesagten Wert, der mit und ohen die jeweilige Person in der Stichprobe bestimmt wurde

• DfFITS-Werte = standardisiert an Standardfehler der geschätzen Werte

  • Kleine Stichproben: Inspektion von absoluten Werten über 1

  • große Stichproben: Inspektion von absoluten Werten über 2 x Wurzel aus (k+1/n)

• Quatrierter DfFITS Wert —> Immer positiv

• Hat komplexe Verteilung, kann aber vereinfacht vor dem Hintergrund einer F-Verteilung mit df1 = k + 1 und df2 = n - k - 1 beurteilt werden

  —> Werte größer als Alpha = 0.5 Quantil sollten inspiziert werden

• Datenpunkt beibehalten, wenn der Extremwert selten aber zulässig und wenig einflussreich ist

• Datenpunkt ausschließen, wenn Werte auf Fehler zurückgeführt werden können

• Datenpunkt ausschließen, wenn für die Person vermutlich andere Prozesse gelten als für den Rest der Stichprobe

• Klären, ob das Modell evtl. fehlspezifiziert wurde

• robuste Regressionsverfahren verwenden, die wenig sensitiv auf Ausreißer und einflussreiche Werte reagieren

• Hohe multiple Korrelation einer UV mit anderen UVs

• Sie führt zu großen Standardfehler des Regressionsgewichts (unpräzise Schätzung)

• Es gibt zwei Maße:

  1. Toleranzfaktor (TOL) <.10 problematisch

  2. Varianzinflationsfaktor (VIF), 1/Toleranzfaktor >10 problematisch

• Zentrierung von UVs (bei Interaktionstermen und polynomischen Termen)

• Eliminieren von UVs

• Aggregieren von UVs

  • Faktoranalytische Aggregation: Modellierung von hoch korrelierten UVs als Indikatoren einer gemeinsamen latenten Variablen, deren Faktorwerte als abgeleitete UV fungieren

Studentisiert heißt, dass die Residuen durch die geschätzte Populationsstandardabweichung der Residuen an der Stelle xm(das meint den Hebelwert der Person hm) geteilt werden.

Gelöscht bedeutet geschätzte Abweichung des vorhergesagten Wertes vom beobachteten Wert (das sind die normalen Residuen) in einem Modell ohne die entsprechende Person. Wir sagen also y^i für Person i mit Hilfe eines Modells hervor, für welches Person i nicht in die Parameterschätzung mit eingegangen ist.