Reliabilität in der Einzelfalldiagnostik

Standardmessfehler

• Der Standardmessfehler ist eine Maßzahl, die angibt, wie genau eine einzelne Messung im Durchschnitt ist.

• Er wird verwendet, um die Präzision oder Zuverlässigkeit einer einzelnen Messung zu quantifizieren.

• Der Standardmessfehler wird oft durch die Standardabweichung der Messwerte geteilt, um die Genauigkeit der Messungen zu bestimmen.

• Je kleiner der Standardmessfehler, desto genauer sind die einzelnen Messungen.

Standardschätzfehler

• Der Standardschätzfehler ist eine Maßzahl, die angibt, wie genau eine Schätzung (z. B. des Mittelwerts oder der Regressionskoeffizienten) aus einer Stichprobe im Durchschnitt ist.

• Er wird verwendet, um die Genauigkeit oder Zuverlässigkeit einer Schätzung zu quantifizieren.

• Der Standardschätzfehler wird oft durch die Standardabweichung der Schätzwerte geteilt, um die Genauigkeit der Schätzung zu bestimmen.

• Je kleiner der Standardschätzfehler, desto genauer ist die Schätzung.

Der Standardmessfehler zeigt, wie genau eine einzelne Messung ist, während der Standardschätzfehler angibt, wie genau eine Schätzung aus einer Gruppe von Messungen ist.

Äquivalenzhypothese

• Die Äquivalenzhypothese besagt, dass zwei Bedingungen keine signifikanten Unterschiede aufweisen.

• Sie wird verwendet, um festzustellen, ob zwei oder mehr Bedingungen gleich wirksam sind.

• Wenn die Äquivalenzhypothese bestätigt wird, bedeutet dies, dass es keinen bedeutsamen Unterschied zwischen den untersuchten Bedingungen gibt.

Regressionshypothese

• Die Regressionshypothese besagt, dass es einen Zusammenhang zwischen zwei Variablen gibt.

• Sie wird verwendet, um zu untersuchen, ob eine Veränderung in einer Variable eine Veränderung in einer anderen Variable vorhersagt.

• Wenn die Regressionshypothese bestätigt wird, bedeutet dies, dass eine Veränderung in einer Variable mit einer Veränderung in der anderen Variable einhergeht.

Zusammenfassend kann man sagen

• Die Äquivalenzhypothese untersucht, ob es keinen signifikanten Unterschied zwischen den Bedingungen gibt.

• Die Regressionshypothese untersucht den Zusammenhang zwischen zwei Variablen.

Standardmessfehler

• Der Standardmessfehler misst die Genauigkeit einer einzelnen Messung oder Schätzung.

• Er sagt, wie weit eine einzelne Messung im Durchschnitt vom tatsächlichen Wert abweichen kann.

• Ein kleinerer Standardmessfehler bedeutet genauere Messungen.

• Standardabweichung = 10 (üblicherweise)

• Standardmessfehler = Standardabweichung * √(1 - interne_Konsistenz)

Vertrauensintervall (Konfidenzintervall)

• Das Vertrauensintervall gibt an, in welchem Bereich sich der wahre Wert einer Messung mit einer bestimmten Wahrscheinlichkeit befindet.

• Es zeigt die Unsicherheit um eine Messung herum.

• Ein Vertrauensintervall besteht aus einer unteren und einer oberen Grenze.

• Es ermöglicht es uns zu sagen, wie genau eine Messung ist und wie sehr sie sich um den wahren Wert herum variieren kann.

• T-Wert → in der Normtabelle nachschauen

• kritischer z-Wert → in der z Irrtumswahrscheinlichkeitstabelle nachschauen

• Vertrauensintervall= T-Wert ± Standardmessfehler * kritischer_z-Wert

• Vertrauensintervall zeigt Genauigkeit und Unsicherheit einer Messung

• Es gibt einen Bereich von Werten an, in dem der wahre Wert mit einer bestimmten Wahrscheinlichkeit liegt.

  • schmales Intervall = genaue Schätzung

  • breites Intervall = unsichere Schätzung.

• Konfidenzniveau gibt die Wahrscheinlichkeit an, mit der der wahre Wert im Intervall liegt

  (z. B. 95%).

• Wenn das Intervall den Nullwert oder eine kritische Schwelle nicht enthält, deutet dies auf statistische Signifikanz hin.

1. Art des Vertrauensintervalls:

   • Verwendung der Regressionshypothese: Führt zu schmaleren Intervallen durch eine Korrektur zur Mitte, um extreme Messwerte auszugleichen.

   • Verwendung der Äquivalenzhypothese: Führt zu breiteren Intervallen.

2. Wahl der Sicherheitswahrscheinlichkeit:

   • Einseitige Fragestellung: Verwendet eine Sicherheitswahrscheinlichkeit von z1-α.

   • Zweiseitige Fragestellung: Verwendet eine Sicherheitswahrscheinlichkeit von z1-α/2.

3. Wahl des geeigneten Reliabilitätskoeffizienten:

   • Prognose (Längsschnittdiagnose): Verwendung der Retest-Korrelation, die die Stabilität des Merkmals misst.

   • Aktueller Status (Querschnittdiagnose): Verwendung der internen Konsistenz, Split-Half- oder Paralleltest-Korrelation als Maß für die Reliabilität.

Einseitig

• Wenn man eine begründete Vermutung hat, dass das zu erwartende Ergebnis in einen bestimmten Merkmalsbereich fällt

Zweiseitig

• Wenn man keine Vermutung hat, in welchem Bereich das Ergebnis zu erwarten ist

Äquivalenzhypothese

• In den meisten Fällen kannst du die Äquivalenzhypothese wählen.

• Sie führt zu einem Vertrauensintervall, das die gesamte Bandbreite der möglichen Werte abdeckt.

Regressionshypothese

• Bei extremen Merkmalsausprägungen kannst du eine Korrektur des beobachteten Werts zur Mitte hin vornehmen.

• Dies kann zu einem schmaleren Vertrauensintervall führen.

• Bei der Wahl der Sicherheitswahrscheinlichkeit (Irrtumswahrscheinlichkeit) orientiert man sich an den negativen Konsequenzen für die Person.

• Zuerst werden die potenziellen negativen Auswirkungen für die Person berücksichtigt.

• Anschließend wird die Messgenauigkeit des verwendeten Tests betrachtet.

• Wenn der Test wenig messgenau ist und Vertrauensintervalle erzeugt werden, die sich von unterdurchschnittlichen bis zu überdurchschnittlichen Werten erstrecken, sollte die Sicherheitswahrscheinlichkeit reduziert werden.

• Eine niedrigere Sicherheitswahrscheinlichkeit bedeutet, dass man weniger streng ist und eher dazu neigt, ein breiteres Vertrauensintervall zu akzeptieren.

• Eine zu hohe Sicherheitswahrscheinlichkeit kann dazu führen, dass das Vertrauensintervall unnötig eng wird und den tatsächlichen Wert möglicherweise nicht ausreichend berücksichtigt wird.

• Die Wahl der Sicherheitswahrscheinlichkeit hängt also von den potenziellen Risiken und der Genauigkeit des Tests ab.

Interne Konsistenz

• Querschnittdiagnose: Es geht um die Beurteilung einer Person zu einem bestimmten Zeitpunkt.

• Prognose auf zukünftiges Verhalten ist nicht erforderlich.

• Messung der Konsistenz der Antworten oder Ergebnisse innerhalb des Tests.

• Gibt Auskunft darüber, wie zuverlässig die einzelnen Items oder Fragen im Test miteinander zusammenhängen.

• Wird verwendet, wenn man wissen möchte, ob die Antworten eines Tests untereinander konsistent sind.

Retest-Korrelation

• Längsschnittdiagnose: Es geht um die Bewertung der Stabilität oder Veränderung einer Person über einen längeren Zeitraum.

• Prognose auf zukünftiges Verhalten ist wichtig.

• Wiederholte Messungen desselben Merkmals bei derselben Person zu unterschiedlichen Zeitpunkten.

• Überprüft, wie gut die Ergebnisse eines Tests bei wiederholter Durchführung miteinander korrelieren.

• Gibt Auskunft darüber, wie stabil die Messung über die Zeit hinweg ist und ob sie zuverlässige Ergebnisse liefert.

• Unterdurchschnittlich

  • Vertrauensintervall liegt komplett unterhalb einer Standardabweichung des Mittelwerts der Normstichprobe.

• Unterdurchschnittlich bis durchschnittlich

  • Vertrauensintervall reicht vom Bereich unterhalb einer Standardabweichung des Mittelwerts bis in den Bereich plus/minus einer Standardabweichung um den Mittelwert.

• Durchschnittlich

  • Vertrauensintervall liegt komplett im Bereich plus/minus einer Standardabweichung um den Mittelwert der Normstichprobe.

• Durchschnittlich bis überdurchschnittlich

  • Vertrauensintervall reicht vom Bereich plus/minus einer Standardabweichung um den Mittelwert bis in den Bereich über eine Standardabweichung des Mittelwerts.

• Überdurchschnittlich

  • Das Vertrauensintervall liegt komplett im Bereich über eine Standardabweichung des Mittelwerts der Normstichprobe.

Unauffällig

• der Wert liegt im Durchschnitt (es reicht schon, wenn nur das Vertrauensintervall im Durchschnitt liegt)

Auffällig

• der Wert liegt außerhalb des Durchschnitts (bedeutet nicht krankhaft, sondern lediglich eine hohe oder niedrige Ausprägung)

Messfehlerkritische Absicherung

• Prüft, ob die beobachteten Messwertunterschiede auf Messfehler zurückgeführt werden können.

• Es wird geprüft, ob die Differenz zwischen den Messwerten größer ist als die kritische Differenz, die auf Basis der Standardfehler berechnet wird.

• Ist die beobachtete Differenz kleiner als die kritische Differenz, wird der Unterschied auf Messfehler zurückgeführt.

Valenzkritische Absicherung

• Prüft, ob die beobachteten Messwertunterschiede (trotz möglicher Messfehler) diagnostisch bedeutsam sind.

• Es wird geprüft, ob die beobachtete Differenz größer ist als die kritische Differenz, die auf Basis der Standardfehler und der Korrelation zwischen den beiden Tests berechnet wird.

• Ist die beobachtete Differenz größer als die kritische Differenz, wird der Unterschied als diagnostisch bedeutsam eingestuft.

Absicherung als zweistufiger Prozess

• Erste Stufe: Überprüfung, ob der beobachtete Unterschied auf Messfehler zurückgeführt werden kann.

• Zweite Stufe: Falls der Unterschied nicht allein auf Messfehler zurückzuführen ist, wird überprüft, ob die beobachtete Messwertdifferenz in der Normstichprobe selten vorkommt und klinisch auffällig ist.

Durchzuführende Schritte

• Bildung der kritischen Differenz.

• Vergleich der kritischen Differenz mit der beobachteten Differenz.

Anwendung der Entscheidungsregeln

• Wenn D_kritisch ≥ D_beobachtet: Der Unterschied kann auf Messfehler der Messwerte zurückgeführt werden (messfehlerkritisch) oder der gefundene Unterschied ist diagnostisch nicht bedeutsam (valenzkritisch).

• Wenn D_kritisch < D_beobachtet: Der Unterschied kann nicht allein auf Messfehler der Messwerte zurückgeführt werden (messfehlerkritisch) oder der gefundene Unterschied ist diagnostisch bedeutsam (valenzkritisch).

Bei unterschiedlichen Reliabilitäten der Tests

• Verwende die Formel D_krit.intra = z_1-(α/2) * σ_x * √(2 - (ρ_tt1 + ρ_tt2))

Bei gleichen Reliabilitäten der Tests

• Verwende die vereinfachte Formel D_krit.intra = z_1-(α/2) * σ_x * √(2 * (1 - ρ_tt))

D_krit.intra = kritische Differenz intraindividuell (Unterschiede in den Leistungen einer Person)

σ_x = Standardabweichung des Tests

ρ_tt1 = Reliabilität des Messwerts von Untertest 1

ρ_tt2 = Reliabilität des Messwerts von Untertest 2

z_1-(α/2) = kritischer z-Wert der Standardnormalverteilung für eine bestimmte Irrtumswahrscheinlichkeit α bei zweiseitiger Testung

• Sammle die Messwerte einer Person vor und nach einer Intervention.

• Berechne die Differenz zwischen dem Anfangswert und dem Ausgangswert.

• Berechne den Standardfehler der Differenz unter Verwendung des Standardfehlers des Ausgangswerts und des Anfangswertes.

• Berechne den RCI, indem du die Differenz durch den Standardfehler teilst.

• Vergleiche den berechneten RCI mit dem kritischen z-Wert für das gewählte Signifikanzniveau.

• Wenn der Betrag des RCI größer oder gleich dem Betrag des kritischen z-Werts ist, ist die Veränderung signifikant und nicht auf Messfehler zurückzuführen.