VL 7 - Besonderheiten in der Datenerhebung

Ist das Auftreten von missing data ein zufälliges Ereignis?

a) Missing clompletely at random (MCAR) (zufälliges Ereignis)

b) Missing at random (MAR)

c) Not missing at random (NMAR)

a) Missing clompletely at random (MCAR): In diesem Fall sind die Werte , die für eine Variable Y fehlen, unabhängig von der jeweiligen Ausprägung des Y-Werts selbst als auch von den Werten aller anderen beobachteten Variablen in dem Datensatz. In diesem Fall können die vorhandenen Daten als Zufallsstichprobe aus der ursprünglich vollständigen Stichprobe betrachtet werden.

Beispiel:

Angenommen, Sie führen eine Umfrage in einer Schulklasse durch und erfassen das Alter und die Noten der Schüler. Einige Schüler haben jedoch ihre Noten nicht angegeben. Wenn das Fehlen der Noten unabhängig vom Alter der Schüler und von den tatsächlichen Noten ist, handelt es sich um einen MCAR-Fall. Das bedeutet, dass das Fehlen der Noten zufällig ist und nicht mit den tatsächlichen Leistungen der Schüler oder ihrem Alter zusammenhängt. In diesem Fall könnten fehlende Noten wahrscheinlich ohne größere Probleme geschätzt oder ergänzt werden, ohne die statistische Analyse zu beeinträchtigen.

b) Missing at random (MAR): In diesem Fall hängt das Fehlen nicht von der Ausprägung der Y-Werte ab, sondern „nur“ von der Ausprägung mindestens einer beobachteten X-Variable (observed data).

Beispiel:

Nehmen wir an, Sie führen eine Umfrage zur Gesundheit durch und erfassen das Geschlecht (X-Variable) und den Body-Mass-Index (BMI) von verschiedenen Teilnehmern. Einige Teilnehmer haben jedoch den BMI-Wert nicht angegeben. Wenn das Fehlen der BMI-Daten nur von den Geschlechterdaten abhängt und nicht von den tatsächlichen BMI-Werten, handelt es sich um einen MAR-Fall. Das bedeutet, dass das Fehlen der BMI-Werte zufällig ist und nicht mit den tatsächlichen Gesundheitszuständen der Teilnehmer zusammenhängt. In diesem Fall könnten fehlende BMI-Werte wahrscheinlich durch statistische Schätzungen basierend auf dem Geschlecht und anderen verfügbaren Daten ergänzt werden, ohne die Ergebnisse wesentlich zu verzerren.

c) Not missing at random (NMAR): In diesem Fall hängt das Fehlen sowohl von der Ausprägung mindestens einer beobachteten X-Variable als auch von der Ausprägung der Y-Werte selbst ab (unobserved data). Daher ist es unmöglich, diese Werte auf sinnvolle Art zu ersetzten

Beispiel:

->Einige Menschen mit höheren Einkommen weigern sich jedoch, ihre genauen Einkommensdaten preiszugeben, und diese Daten werden nicht erfasst. Wenn das Fehlen dieser Daten sowohl von der Höhe des Einkommens als auch von der Entscheidung, die Daten nicht preiszugeben, abhängt, dann handelt es sich um einen NMAR-Fall. In diesem Fall könnte das Fehlen der Daten bedeuten, dass die tatsächlichen Einkommen für wohlhabendere Menschen systematisch unterschätzt werden, was zu Verzerrungen in den Ergebnissen führen könnte.

Diagnosemöglichkeiten: Fehlen Daten zufällig?

a) Theoretische Argumente für MAR

b) Empirische Strategien:

• Sortieren der Datenmatrix nach einer oder mehrerer X-Variablen und Identifikation graphischer Muster bei den Missings (spricht gegen MAR)

• Prüfen von Mittelwertunterschieden für X-Variablen (Antworter vs. Nichtantworter auf y-Variable)

• Litte-Test für MCAR (Little, 1988)

Der Little-Test auf MCAR (Little, 1988) Die Chi-Quadrat-Statistik nach Little, dient dazu zu testen, ob Werte bei metrischen Variablen in völlig zufälliger Weise fehlen (MCAR - Missing Completely At Random). Bei diesem Test besagt die Nullhypothese, dass die Daten völlig zufällig fehlen. Wenn der p-Wert weniger als 0,05 beträgt, fehlen die Werte nicht völlig zufällig (Anpassungstest). Die Daten fehlen möglicherweise zufällig (MAR - Missing At Random) oder fehlen nicht zufällig (NMAR - Not Missing At Random).

signifikantes Ergebnis bedeutet: Sie fehlen nicht zufällig

nicht signifikantes Ergebnis bedeutet: ich gehe davon aus dass sie zufällig fehlen

Das links abgebildete Streudiagramm zeigt die gemeinsame empirische Verteilung einer Variablen X mit vollständig vorhandenen Werten und einer Variablen Y mit teilweise fehlenden Werten nach dem MCAR-Prinzip. Fälle mit vorhandenen Beobachtungswerten für X und Y sind durch einen blauen Kreis dargestellt. Datenpunkte mit fehlendem Y-Wert sind durch ein grünes Kreuz markiert.

auf y variable: Werte die Fehlen, dargestellt durch ein kreuz

• missings auf der y variable

• grübe kreuze: werte auf x aber nicht auf y

• blaue kreise werte auf x und y

• grüne kreuze streuen über den gesamten wertebreich von y

• EM-Kovarianzen ein schätzverfahren von variablen zu missing data, schätz algorhytmus, verwenden wenn man missing data hat

• über chi quadrat anpassung prüfen

• nicht signifikant: Missings folgen der MCAR bedingung-> schön da ich damit sagen kann dass die unvollständige datenmatrix eine zufallsstichprobe ist, ich kann jetzt problemlos mit der unvolständigen datenmatrix rechnen

• links: MAR-> Missing at random

• rechts: NMAR-> Not missing at random

• NMAR schlechteste Fall (echtes Problem)

• bei höheren x werten ist die wahrscheinlichkeit höher dass ein missings auftritt (siehe re. Streudiagramm)

• Die TEstergebnisse sind signifikant, da missing data nicht zufällig aufgetreten sind

• Fallweises Löschen (Listwise deletion)

• Paarweises Löschen (parwise deletion)

• Mittelwertimputation

• Regressionsbasierte Imputation

• Fallweises Löschen (listwise deletion): Fälle (VPs), bei denen missings auf einer oder mehrerer Variablen auftreten, werden ganz aus der Analyse ausgeschlossen

– Verlust an Power

– Parameterschätzungen (z.B. Mittelwerte) können systematisch verzerrt sein

– Nur bei MCAR zulässig

Paarweises Löschen (pairwise deletion): Es werden Paare von Werten gelöscht, wenn der Wert für eine der beiden Variablen fehlt

– Verzerrung von Parameterschätzungen

– Mathematische Probleme aufgrund unterschiedlicher Fallzahlen

– Nur bei MCAR zulässig

• Mittelwertimputation: Ersetzen eines fehlenden Wertes durch den Mittelwert der Variable (Imputation)

– Variabilität der Werte der Variablen sinkt, so dass Varianzen und Kovarianzen unterschätzt werden

– Wenn die fehlende Werte nicht MCAR sind, treten Verzerrungen bei Parameterschätzungen auf

– Wird generell nicht empfohlen

Imputation: Ersetzen eines Wertes der fehlt

Regressionsbasierte Imputation: fehlende Werte werden regressionsanalytisch auf der Basis einer oder mehrerer X-Variablen vorhergesagt

– Unterschätzung von Varianzen und Kovarianzen

– Systematische Verzerrungen von Parameterschätzungen (wenn nicht MACR)

– Wird generell nicht empfohlen

etwas besser als Mittelwertimputation

-> Die ipsative Mittelwerts-Imputation ist eine Methode in der Statistik, die verwendet wird, wenn wir eine latente Variable (eine versteckte Variable, die wir nicht direkt messen können) schätzen möchten, indem wir den Durchschnittswert (Mittelwert) aus mehreren beobachtbaren Indikatoren oder Items verwenden. Diese Methode kann nützlich sein, wenn einige der Items fehlende Daten haben (zum Beispiel etwa 10% der Daten) und wir dennoch eine Schätzung für die latente Variable erhalten möchten.

Diese BEdingungen müssen dafür erfüllt sein:

• die Items müssen austauschbar sein

• über identische MW verfügen, Ladungen und fehlervarianzen müssen auch identisch sein

• falls sich geannte Punkte deutlich unterscheiden lässt sich Austauschbarkeit durch standardisieren der Items verbessern

• Methode ist akzeptabel bei eindiemensionalen Items mit relativ hoher Reliabilität (Cronbachs alpha > 0.7)

EM Algorithmus (Expectation-Maximization)

• EM Algorithmus (Expectation-Maximization): ist ein iteratives Verfahren, bei dem alle zur Verfügung stehenden Variablen genutzt werden.

  • Im ersten Schritt (Expectation) findet eine regressionsbasierte Imputation statt.

  • Im zweiten Schritt (Maximization) wird zu den Varianzen und Kovarianzen der Variablen Varianz basierend auf den Residuen der Regressionsschätzungen hinzugefügt. Diese werden dann benutzt, um erneute Vorhersagen für die fehlenden Daten zu machen.

    
    

• In SPSS bestehen zwei Möglichkeiten zur Anwendung von EM:

  • Schätzung von Verteilungsparametern mittels EM Algorithmus. Mit dem EM-Verfahren lassen sich bei erfüllter MAR-Bedingung valide Maximum-Likelihood-Schätzer für Mittelwerte, Varianzen und Kovarianzen ermitteln. Mit den geschätzten Verteilungsparametern lassen sich diverse lineare Modelle analysieren.

  • Einfache Imputation nach EM-Schätzung der Verteilungsmomente. Die SPSS-Prozedur MVA kann die Ersatzwerte aus der letzten Iteration des EM-Verfahrens als neue Datendatei oder neues Datenblatt abspeichern. (vgl. Baltes-Götz, 2013, S. 44f.)

• multipler zufallsbasierter Imputation

• Modellbasierte Verfahren

• für jeden fehlenden Wert werden mehrere Schätzwerte generiert

• Varianz der fehlenden Daten wird durch 2 Verfahren erhöht:

  • bei jeder Schätzung werden zufällig Werte aus der vertreilung der Residualwerte gezogen und zu den imputierten Werten addiert -> erhöht die Varianz

  • Schätzungen werden wiederholt durchgeführt, dabei wird auf Basis des bayesianischen Ansatzes eine Wahrscheinlichkeitsverteilung unterschiedlicher Parameter (zb MW) für die Zufallsziehung zum Zweck der Imputation zugrunde gelegt

Die statistische Analyse auf der Basis multipler Imputation erfolgt in drei Phasen (vgl. Baltes-Götz, 2013, S. 52ff.):

• 1. Multiple Imputation (erzeugt multiple vollständige Datensätze)

• 2. Statistische Analyse jedes einzelnen Datensatzes

• 3. Zusammenfassung (Pooling) der multiplen Analyseergebnisse

• Modellbasierte Verfahren (z.B. Multi-level-Modelle, SEM): Kennzeichnend für die modellbasierende Verfahren ist, dass die Behandlung fehlenden Werte und die Schätzung des (zu prüfenden) Modells in einem gemeinsamen Schritt durchgeführt werden. Eine Imputation der fehlenden Werte ist dadurch nicht mehr notwendig.

• Im Gegensatz zu Modellen mit vollständigen Daten, in denen die Kovarianzmatrix zur Schätzung der Modellparameter ausreicht, müssen bei diesem Vorgehen die individuellen Werte zugrunde gelegt werden.

• Dabei kommt das Full Information Maximum Likelihood-Verfahren (FIML) zum Einsatz, um die Modellparameter und ihre Standardfehler zu schätzen.

• Modellbasierte Verfahren setzen zumindest MAR voraus

Definition: Drop-out bedeutet, dass ein Studienteilnehmer*in vorzeitig aus der Studie ausscheidet. Auswahl möglicher Ursachen für Dropout:

• Biographische Ereignisse wie z.B. Wohnortwechsel,

• Kritische Lebensereignisse, z.B. Krankheit, Tod, Geburt eines Kindes,

• Motivationsverlust, z.B. zu hoher Aufwand für die Teilnahme,

• Mangelnde Compliance, z.B. aufgrund ausbleibender Besserung der Symptomatik, Nebenwirkungen, etc. Drop-outs können in mehrfacher Hinsicht selektiv sein und zu einer Verzerrung (Bias) des Studienergebnisses führen, z.B. …

• wenn wenig motivierte Studienteilnehmer ausscheiden (Überschätzung)

• Wenn die dropout-Raten sich zwischen den Treatmentbedingungen unterscheiden (Über- oder Unterschätzung)

Traditionelle single-imputation Methoden in klinischen Studien

• Last observation carried forward (LOCF): Der letzte vorhandene Messwert wird bei (fehlenden) nachfolgenden Messungen eingetragen

• Baseline observation carried forward (BOCF): der Messwert vor Beginn der Interventionsphase (Pretest oder Baseline) wird bei nachfolgend fehlenden Werten eingetragen.

Gfeahren/Probleme:

• Unterschätzung von Varianzen und Kovarianzen

• Systematische Verzerrungen von Parameterschätzungen

• Gefahr: Drop-out-Raten können in den Treatment-Gruppen unterschiedlich sein (NMAR)

• Konservatives Vorgehen bezogen auf within-subjects-Veränderung, aber nicht notwendigerweise in Bezug auf between-subjects-Vergleiche

Bias als Folge von LOCF/BOCF

• Überschätzung eines Treatmenteffektes, wenn dropouts häufiger oder frühzeitig in der Kontrollbedingung auftreten und Unterschätzung, wenn dropouts seltener oder später in der Kontrollbedingung auftreten.

• Überschätzung eines Treatmenteffektes, wenn der Effekt sein Maximum an intermediate time points (Maximale und dazwischenliegende Zeitpunkte) hat und Unterschätzung des Effektes, wenn dieser über die Zeit anwächst.

Der Einfluss des Bias auf inferenzstatistische Ergebnisse ist größer, wenn die Effektstärke klein und die Stichprobe groß sind

• Mixed effects models unterscheiden zwischen festen (fixed) und zufälligen Effekten (random).

• Ferner wird die hierarchische Struktur der Daten berücksichtigt (wiederholte Messungen an derselben Person).

• Das mixed effects Modell nutzt mittels FIML alle verfügbaren Datenpunkte um zu schätzende Parameter (und SE) zu adjustieren.

• Eine Imputation fehlender Werte ist nicht notwendig.

• In der Abbildung dargestellt ist ein mixed effects model mit random intercepts (individuell unterschiedliche Baseline) und random slopes (individuell unterschiedliche Steigungen der Geraden)

Eienn anstieg der Lebenszufriedenheit-> verzögerter Wirkungseffekt, LZ steigt nicht gleich mit dem Post Test, sondenr die braucht noch eine gewisse Zeit, bis sie hoch geht (siehe 3 months follow up!)

• LZ - MW im Post Test sogar etwas geringer

• LZ MW ist im three weeks follow up aber erhöht, jedoch N gesunken (N=56)

• gibt es hier einen selektiven Drop Out in Bezug auf die Lebenzufriedenheit? JA

• Links unten: Post Test werte in Bezug auf LZ (linker OUTPUT)

• rechter output unten: Post test werte: Ganz andere Mittelwerte! aufgrund von Drop out

-> höhere M an der LZ , nicht stark, aber insgesamt einen Bias und zwar dass ich die LZ der Personen zu allen 4 Messzeitpunkten dramatisch überschätzt (aufgrund von Drop Out)

• Als Faustregel geht man davon aus, dass Online-Befragungen nicht länger als 10 –15 Minuten dauern sollten (Bosnjak, 2002)

• Mit wachsender Länge steigt bei Online-Fragebögen die Antwortverweigerung, zudem sinkt im hinteren Teil des Fragebogens die Datenqualität (z. B. weil Fragen zunehmend schneller und oberflächlicher beantwortet oder übersprungen werden, vgl. Galesic & Bosnjak, 2009).

• Wird die Online-Befragung mit passiver Rekrutierung durchgeführt (Veröffentlichung des Umfragelinks über Websites, Online-Foren, soziale Netzwerkplattformen), so resultiert indessen eine Selbstselektionsstichprobe, von der unklar ist, welche Inferenzpopulation sie repräsentiert.

• Wie bei jeder selbstadministrierten Befragung ist auch bei Online-Befragungen mit höheren Verweigerungs- und Abbruchraten als z.B. bei mündlichen Interviews zu rechnen, da hier die motivierende Wirkung der Kommunikation mit dem Interviewer entfällt und die Befragten auf sich gestellt sind. Die stark wachsende Zahl an Online-Befragungen kann zusätzlich zu Übersättigung und Antwortverweigerung führen. Auch ein thematisch uninteressant wirkender, schlecht lesbarer, überlanger oder umständlich bedienbarer Online-Fragebogen reduziert den Rücklauf (Usability).