Vorlesung 4

Objektivität = beschriebt das Ausmaß, in dem die Ergebnisse eines diagnostischen Verfahrens unabhängig von Einflössen außerhalb der diagnostizierten Person sind

Unterkategorien sind:

– Durchführungsobjektivität

– Auswertungsobjektivität

– Interpretationsobjektivität

Auswertungsobjektivität = jeder Auswerter muss gleichen Punkt- oder Leistungswerte eines Probanden ermitteln –> Definiton von eindeutigen Regeln zur Übertragung der Antworten in Punktwerte / Kategorie

Durchführungsobjektivität = ein Test nicht von Untersuchung zu Untersuchung zu variieren –> Maximale Standardisierung der Durchführungssituation

Interpretationsobjektivität = jeder Auswerter sollte möglichst zur gleichen Beurteilung oder Interpretation der Testergebnisse kommen.

–> Festlegung der Interpretations- und Entscheidungsregeln und Erlöuterung anhand von Beispielen

Reliabilität = beschriebt die Genauigkeit, mit der ein Verfahren ein Merkmal erfasst – unabhängig davon, ob es sich dabei um das Merkmal handelt, dass das Verfahren zu erfassen beansprucht. Reliabilität ist ein Maß der Präzision der Messung und beschriebt das Ausmaß, in dem beobachtbare Messwertunterschiede auf tatsächlichen Merkmalsunterschieden und nicht auf Messfehlern beruhen.

Interne Konsistenz = Aufteilung des Tests in mehrer Teile und Überprüfung, ob die Items eigentlich dasselbe messen

–> ist die Messung in sich konsistent? (Cronbachs Alpha)

Retest–Reliabilität / Stabilität = ist mehrfache Durchführung des Tests und Korrelatiion der Test –> misst, wie stabil der Test des Merkmal misst

Paralleltest = Vergelich der Testwerte mit ähnlichem Test –> Stabilität hinsichtlich Itemauswahl

Retest-Reliabilität = Die Bestimmung der Reliabilitö eines Verfahrens mit Hilfe einer wiederholten Testdarbietunh setzt voraus, dass

– Das erfasste Merkmal stabil ist und

– Sich das Zeitintervall zwischen den Test7gen nicht auf die Messung auswirkt –> je kürzer das Retest-Intervall, desto höher die Retest-Reliabilität

Vorteile:

– Relativ unaufwendig, da keine zusätzlichen Testversi9nen erforderlich sind

– Geeignet für Speed- und Persönlichkeitstests

Nachteile:

– Wahl des Retests-Intervalls relativ offen, aber kritisch

– Zu kurz: Erinnerungs- / Übungseffekte

– Zu lang: reale Schwankungen des Merkmals wahrscheinlich

– Die Retest-Reliabilität wird häufig auch als Stabilität einer Messung bezeichnet. Aber auch bei einer hohen Retest-Reliabilitö können Veränderungen eingetreten sein,

– die für alle Verfahrensteilnehmer gleichermaßen wirken (z.B. Lernzuwächse)

– die zu einer geringen Veränderung der Rangreihe der Teilnehmer führen. Eine geringe Retest-Reliabilität bedeutet aber im Umkerhschluss nicht, dass ein Verfahren änderungssensitiv ist.

Die Paralleltest-Reliabilität = die Bestimmung der Reliabilität eines Verfahrens mit Hilfe einer Parallelen Verfahrensversion

– Schließt Erinnerungs- und Übungseffekte weitestgehend aus

– Umgeht das Problem einer möglichen Veränderung des Merkmals zwischen Test und Re- Tests bei kurzfristiger Darbietung der Paralleltests

Grenzen:

– Erstellung von Paralleltests ist aufwendig, daher nicht immer möglich

– Abweichunben in der Parallelität der Testhälfte mindern die Paralleltest-Reliabilität – Auch bei Paralleltest sind Übertragungseffekte, z.B. durch eine zunehmende

– Vertrautheit mit zuvor unbekannten Iteminformationen, nicht auszuschließen und führen zu einer Überschätzung der Reliabilität

Konsistenz 1 - Halbtest-Reliabilität = beschriebt die Übereinstimmung zwischen zwei Verfahrenshälften, die als Parallele Testversion angesehen werden können.

• 1. Hälfte / 2. Hälfte

  = problematisch bei Verfahren, die nach Aufsteigender Itemgeschwindigkeit geordnet sind

• Odd / Even

  = Augstellung nach geraden und ungeraden Itemnummern

• Zufallsaufteilung

• Parallelisierung

  = Bidnung von Itempaarlingen mit analoger Schwierigkeiten und Trennschärfe, die zufällig auf Testhälften verteilt werden

• Testzeit

  = sinnvoll bei Speedtest, um eine Überschätzung der Konsistenz zu verhindern. Insbesondere bei kleinen Stichproben können die verschiedenen Testhalbierunhsmethoden zu sehr unterschiedlichen Reliabilitäts-Schätzung führen

Konsistenztest 2 – Cronbach’s Alpha = Cronbach’s Alpha stellt eine Generalisierung der Testhalbierunhsmethode dar

• Fasst jedes einzelne Itemanalyse als eigenständigen Testteil auf, d.h. der Test wird in so viele Teile unterteilt, wie Items vorhanden sind

• Wird berechnet als

• Sollten Werte nahe 1 (perfekte Konsitenz) annehmen

• Entspricht Homogenität einer Skale (Ausmaß in den Items ähnliche Ergebnisse)

• Ist abhängig von der Itemszahl (Tests mit sehr vielen Items erbringen auch bei geringer Homogenität hohe Alpha-Werte)

• ACHTUNG: ein hoher Wert ist nur bei homogenen

  Konstrukten anzustreben, bei heterogenen muss

  folglich Cronbach‘s Alpha niedriger sein!

Bei der Bewertung der Reliabilität muss auf folgendes geachtet werden:

• Passung zwischen Merkmal und Reliabilitätsmaß

  = Reliabilität der Messung heterogener Merkmale kann über Konsistenzmaße nicht sinnvoll geschätzt werden

• Spezifikationsgrad des Merkmals

  = Leistungsmaße sind i.d.R. sehr viel genauer umgesetzt als Persönlichkeitsaspekte und daher genauer erfassbar

• Diagnostische Ziele

  = Aussagen über Individuen erfordern höhere Reliabilität als Kollektivaussagen

• Kosten-Nutzen-Verhältnis

  = zusätzliche Tests erhören i.d.R. die Reliabilität der Messung sind aber auch mit höheren Kosten verbunden

• Ausmaß von Fehlerquoten

  = störanfällige Test- oder Auswertunhsbedingungen erfordern höhere Reliabilitäten

Wie interpretiere ich Reliabilitäten?

Hier ein Beispiel!

• Was bedeutet eine Reliabilität von rtt. = .70?

• Gibt dem Angeil Varianz der wahren Werte an Varianz der beobachteten Werte an

  REI = Var (T) / Var (X)

• Reliabilitätskoeffizienz von rtt = .70 bedeutet folglich, dass

  • Die beobachtete Testvarianz zu 70% auf wahre Unterschiede zwischen den Testpersonen zurückzuführen sind

  • Zu 30% auf Fehlervarianz beruht

    • sE = Standardmessfehler

    • sX = Standardabweichung der (beobachteten) Testwerte

    • Rtt = Reliabilität des Tests

Validität / Gültigkeit = beschriebt das Ausmaß, mit der ein Verfahren dasjenige Merkmal erfasst, dass es zu erfassen beansprucht.

–> Eine objektive und reliable Messung ermöglicht valide Eregebnjsse, garantiert diese jedoch nicht. Erst die Validierung beantwortet die Frage, was ein Verfahren tatsächlich erfasst und ist daher das wichtigste Gütemaß für den Einsatz eines psychologischen Diagnoseverfahrens.

Ob…

• Verfahren relevante Merkmlasauschnitte repräsentativ abbildet (Inhalts-Validität)

• Das Messverfahren nach gesundem Menschenverstand oder nach dem Urteil von Experten valide zu sein scheint (Augenschein-Validität)

• Verfahren in systematischer Weise mit Verwandten und unähnlichen Konstruktien zusammenhängt (Kknstrukt-Validität)