Objektivität, Reliabilität I

• Unabhängigkeit der Testergebnisse von der Testdurchführungsperson

• Unabhängigkeit der Testergebnisse von der Testauswerterperson

• Konsistente Schlussfolgerungen bei Testpersonen mit demselben Testwert

• Vermeidung von individuellen Vorurteilen oder Einschätzungen

• Standardisierte und zuverlässige Diagnostik

• Unabhängigkeit der Testergebnisse von der Person, die den Test durchführt

• Konsistente Ergebnisse unabhängig von der Testleiterin oder dem Testleiter

• Testergebnisse sollten unabhängig von individuellen Einflüssen der Testdurchführenden sein

• Standardisierte Testsituation, um gleiche Bedingungen für alle Testpersonen zu gewährleisten

• Unabhängigkeit der Testergebnisse von der Person, die die Testdaten auswertet

• Verrechnung der Testdaten zu Testwerten unabhängig von individuellen Interpretationen

• Einheitliches Auswertungsverfahren gemäß dem Testprotokoll

• Vermeidung von individuellen Vorurteilen oder subjektiven Einflüssen bei der Auswertung

• Eindeutigkeit der Schlussfolgerungen, die aus den Testergebnissen gezogen werden

• Konsistente Interpretation der Ergebnisse unabhängig von unterschiedlichen Testauswerterinnen oder Testauswertern

• Vermeidung von individuellen Vorurteilen oder persönlichen Einschätzungen bei der Interpretation

• Objektive Ableitung von diagnostischen Schlüssen basierend auf den Testresultaten

• Mängel der Objektivität führen zu inkonsistenten Testergebnissen.

• Inkonsistente Testergebnisse machen den Test weniger verlässlich (Reliabilität).

• Wenn die Testergebnisse von individuellen Einflüssen abhängen, messen sie nicht das beabsichtigte Merkmal und werden weniger aussagekräftig (Validität).

• Reliabilität bedeutet, dass ein Test oder eine Messung zuverlässig ist.

• Es geht darum, ob man bei wiederholter Durchführung des Tests ähnliche Ergebnisse erhält.

• Ein zuverlässiger Test liefert konstante und stabile Ergebnisse, unabhängig von zufälligen Faktoren oder Fehlern.

• Eine hohe Reliabilität bedeutet, dass man dem Test vertrauen kann und dass Messfehler minimiert sind.

• Erfasst über Reliabilitätskoeffizienten

  • Identische Werte: Rel = 1: Testwerte sind frei von Messfehlern

  • Divergierende Werte: Rel = 0: Testwerte kommen durch Messfehler zustande

Jede beobachtete Testergebnisvariable (x) setzt sich aus einem wahren Testwert (T) und einem Fehler (e) zusammen.

1. Jeder Testwert beinhaltet zwar den tatsächlichen Wert, muss allerdings durch einen Messfehler ergänzt werden.

2. Werden mehrere Messungen durchgeführt, ist sowohl die Summe als auch der Mittelwert der Messfehler Null. Somit ist auch der Erwartungswert Null.

3. Der Messfehler korreliert nicht (systematisch) mit dem wahren Wert.

4. Wahrer Wert und Fehlerwert zwei verschiedener Tests korrelieren nicht miteinander.

5. Fehlerwerte von zwei verschiedenen Tests korrelieren nicht miteinander.

• Die Retest-Reliabilität misst, wie zuverlässig ein Test ist, wenn er wiederholt wird.

• Es geht darum, ob ein Test ähnliche Ergebnisse liefert, wenn er zu einem späteren Zeitpunkt erneut durchgeführt wird.

• Eine hohe Retest-Reliabilität bedeutet, dass der Test konsistente Ergebnisse über die Zeit hinweg liefert.

• Eine hohe Retest-Reliabilität zeigt, dass die gemessene Eigenschaft stabil ist und nicht stark von Zufälligkeiten abhängt.

• Erinnerungseffekt: künstlich überhöht

• Systematische Veränderungen: der wahren Werte

Systematische Veränderung

• Veränderung der wahren Werte zwischen den Messzeitpunkten folgt einem Muster oder einer bestimmten Richtung.

• Beispiel: Eine Trainingsintervention, die zu einer systematischen Verbesserung der Testergebnisse führt.

• Systematische Veränderungen können die Retest-Reliabilität beeinflussen und zu höheren oder niedrigeren Korrelationen zwischen den Testwerten führen.

Unsystematische Veränderung

• Veränderung der wahren Werte zwischen den Messzeitpunkten erfolgt zufällig und ohne erkennbares Muster.

• Beispiel: Tagesabhängige Schwankungen der Testleistung aufgrund von Müdigkeit oder Tagesform.

• Unsystematische Veränderungen können die Retest-Reliabilität ebenfalls beeinflussen, aber sie führen eher zu niedrigeren Korrelationen zwischen den Testwerten.

• Paralleltest-Reliabilität misst die Übereinstimmung zwischen verschiedenen Tests, die dasselbe messen.

• Es geht darum, ob die Tests ähnliche Ergebnisse liefern.

• Die Tests werden gleichzeitig oder kurz hintereinander an derselben Gruppe von Personen durchgeführt.

• Hohe Paralleltest-Reliabilität bedeutet, dass die Tests zuverlässig sind und ähnliche Ergebnisse liefern.

• Faktoren wie Ähnlichkeit der Fragen, Schwierigkeitsgrad und Länge der Tests beeinflussen die Paralleltest-Reliabilität.

Inhaltsäquivalente Verfahren

• Verschiedene Tests, aber sie messen dasselbe Merkmal.

• Fragen oder Aufgaben sind unterschiedlich, aber das Ziel ist das Gleiche.

• Beispiel: Ein schriftlicher Test und ein mündliches Interview zum Englischlernen.

• Ziel: Übereinstimmung zwischen verschiedenen Testarten beurteilen.

Inhaltsparallelisierte Testformen

• Verschiedene Versionen desselben Tests mit denselben Fragen oder Aufgaben.

• Fragen sind identisch, aber in anderer Reihenfolge oder mit anderen Beispielen.

• Beispiel: Zwei Versionen eines Mathe-Tests mit unterschiedlicher Frage-Reihenfolge.

• Ziel: Konsistenz zwischen verschiedenen Testversionen überprüfen.

Stabilitätskoeffizient → Retestreliabilität

• Misst, ob Testergebnisse über die Zeit hinweg konstant bleiben.

• Gibt an, wie gut ein Test bei wiederholter Durchführung ähnliche Ergebnisse liefert.

• Zeigt, ob die Testergebnisse zuverlässig und stabil sind.

Äquivalenzkoeffizient → Paralleltestreliabilität

• Misst die Ähnlichkeit von Testergebnissen zwischen verschiedenen Tests.

• Gibt an, wie gut verschiedene Tests dasselbe Merkmal messen.

• Zeigt, ob verschiedene Tests vergleichbare Ergebnisse liefern.

Zustand

• Geht darum, wie ähnlich die Ergebnisse verschiedener Tests sind, die das gleiche messen sollen.

• Hoher Äquivalenzkoeffizient: Tests liefern ähnliche Ergebnisse

• Niedriger Stabilitätskoeffizient: Ergebnisse einer Person unterscheiden sich von einem zum anderen Test.

Erinnerungseffekt

• Handelt davon, wie ähnlich die Ergebnisse sind, wenn derselbe Test wiederholt wird.

• Niedriger Äquivalenzkoeffizient: Verschiedene Tests liefern unterschiedliche Ergebnisse.

• Hoher Stabilitätskoeffizient: Ergebnisse sind bei wiederholtem Test ähnlich.

• Bei dieser Methode werden die Fragen des Tests in zwei Gruppen aufgeteilt: ungerade nummerierte Fragen (odd) und gerade nummerierte Fragen (even).

• Die Teilnehmer nehmen nur an einer Gruppe von Fragen teil, entweder den ungeraden oder den geraden Fragen.

• Die Ergebnisse der beiden Fragegruppen werden verglichen, um die Konsistenz des Tests zu bewerten.

• Ein hoher Korrelationskoeffizient zwischen den ungeraden und geraden Fragen zeigt eine hohe Reliabilität des Tests an.

Zeitpartitionierungsmethode

• Der Test wird in mehrere Sitzungen aufgeteilt.

• Jede Sitzung deckt einen Teil des Tests ab.

• Die Ergebnisse der einzelnen Sitzungen werden zusammengeführt.

Zeitfraktionierungsmethode

• Der gesamte Test wird in einer Sitzung durchgeführt.

• Die Testzeit wird jedoch in kurze Abschnitte aufgeteilt.

• Zwischen den Abschnitten gibt es Pausen zur Erholung.

→ Beide Methoden berücksichtigen Ermüdungseffekte und ermöglichen Erholungszeiten.

• Ähnliche oder gleiche Fragen werden im Test verwendet.

• Jeder Teilnehmer beantwortet beide Versionen der gleichen Frage.

• Die Ergebnisse der beiden Versionen werden verglichen.

• Wenn die Antworten auf die gleiche Frage ähnlich sind, ist die Reliabilität des Tests hoch.

• Diese Methode zeigt, ob die Fragen im Test zuverlässige Ergebnisse liefern.

• Sie hilft dabei sicherzustellen, dass die Fragen im Test konsistent sind und das gleiche messen.