Wie lässt sich der Zusammenhang von Reliabilitöt und Validität beschrieben?
Doppelte Minderungskorrektur
= wie hoch wäre die Korrelation rcorr 1,2, Zeichen den wahren Werten 2er Tests, wenn beide messfehlernehaftet sind.
Wenn nur einer der beiden Messwerte fehlerbehaftet ist, kann auch nur eine einfache Minderungskorrektur durchgeführt werden r1, WzRel1
Wenn Messwerte fehlerbehaftet sind, wirkt sich dies mindernd auf die Höhe der Korrelation mit einer anderen Varinalen aus (da gemäß den Annahmen der Klassichen Testtheorien Messfehler nicht miteinander korreliert sind)
Daraus folgt:
= der emptisjce Zusammenhanh zwischen zwei Tests (oder Variablen) kann nicht größer ausfallen als das Produkt der Wurzlen der beiden Reliabilitäten
Beispiel:
= wir wenden die Formeln an das Beispiel an und nehmen folgende Reliabilitäten für den Konzentrations- und Intelligenztest an:
Test 1 Relation = .90; Test 2 Relation = .80; R1,2 = .30. > Rcorr 1,2 = .35
Korrelation zwischen den wahren Werten der beiden Tests beträgt 0.35
–> Die beiden Tests erfassen demnach weitgehend unabhängige Merkmale
Was ist der Reliabilitätsindex, die maximale Validität und wie verhalten sie sich zusammen?
Reliabilitätsindex = Kennwert, der die obere Grenze der Kriteriums-bezogenen Validität festlegt
Validität eines Tets kann maximal die Wurzle aus der Reliabilität betragen, höhere Koeffizienten müssen auf ein Artefakt zurückgehen
Beispiel = Bei einer Reliabilität des Tests t von rtt = .81 liegt die Obergrenze für korrelative Wechselbeziehungen (z.B. Kriteriumsvalidität) bei .90
Aus den Annahmen der Klassichen Testtheorie: Test kann nicht stärker mit einem anderen Test oder Kriterium korrelieren als mit seine wahren Werten.
Reliabilität ist nicht dasselbe wie Reliabilitätsindex
Wie funktioniert die Überprüfung der Kriterien durch MTMM-Matrix?
Interne Konsistenz: monotrait - monomethod > hoch
Konvergente Validität: monotrait - heteromethod > hoch
Divergente Validität: heterotrait - monomethod > niedrig
Was hat Einflüsse auf die Validität?
Die Empirischen Validitätskoeffizienzen sind beeinflusst durch
Reliabilität des Tets
Reliabilität des Kriteriums
Validität des Kriteriums
Gemeinsame Methodenvafianz von Test und Kriterium
Konfundierunh von Test und Kriterium mit anderen Merkmalen
Stichprobenumfang
Merkmale der Stichprobe
Bei Interpretation von konkreten Validitätskoeffizienten sind diese Aspekze daher eher zu berücksichtigen
Skalierung
= Bildung eines Testwerts wird durch eine gültige Verrechnungsvorschirft vorgenommen.
Was sind die 7 Nebengütekriterien?
Normierung
Vergleichbarkeit
Ökonomie
Nützlichkeit
Zumutbarkeit
Fairness
Nicht-Vergälschbarkeit
Nebengütekriterien
Wie lässt sich das Nebengütekriterium “Normierung” beschreiben?
Normen sind für die meistens Testanwendunben unverzichtbar
—> Erst die Einordnung einer Person in einer Referenzgruppe erlaubt einen Rückschluss auf die Ausprägung eines Merkamls
Ausnahme: kriteriumsorientierte Tests
—> Vergleich einer Leistung mit vorher gesetzten Kriterien, z.B. Führerscheinprüfung
Zusammensetzung der Normstichprobe entscheidend
Stichprobe sollte genau beschrieben sein
Wie lässt sich das Nebengütekriterium “Vergleichbarkeit” beschreiben?
Ein oder mehrere Parallelformen oder Tests mit denselben Gültigkeitsbereichen sind vorhanden
In beiden Tests sollte eine Person ähnliche Ergebnisse erzielen
Wie lässt sich das Nebengütekriterium “Ökonomie” beschreiben?
a) Kurze bzw. angemessene Durchführunhsschmerzen
b) Wenig Materialverbrauch
c) Eingach zu handhaben
d) Auchal Gruppentest durchführbar
e) Schnell und bequem Auswertbar
—> eigentlich nur im Vergleich zu anderen Tests (diagnostischen Methoden) beurteilst
Wie lässt sich das Nebengütekriterium “Nützlichkeit” beschreiben?
Trst misst ein Persönlichkeitsmerkmal oder eine Verhaltensweise, für das oder deren Untersuchung ein praktisches Bedürfnis besteht
Liegt bereits ein Verfahren vor, dass denselben Messanspruch aufweist?
Hat der neue Test bessere Gütekriterien?
Wie lässt sich das Nebengütekriterium “Zumutbarkeit” beschreiben?
Getestete werden durch Testung nicht unnötig belastet, durch körperliche oder psychische Beanspruchung
Schonungslos in zeitlicher, psychischer und körperlicher Hinsicht
Wie lässt sich das Nebengütekriterium “Fairness” beschreiben?
Keine Diskriminierung von - für die Testung relevanten - Gruppen
Forderung z.T unrealistisch, da sozial erwünschtes Verhalten oder Beantwortung immer vorkommen kann (aber: vgl. Leistungstests vs. Persönlichkeitstests)
Es sollten Angaben im Manual enthalten sein, wie stark ein Test sowohl auch nach oben als auch nach unten verfälscht werden kann
Aus welchen Gründen werden Tests z.T mehrfach durchgeführt und wie nennt man das?
Man nennt es —> Mehrfachmessung
Folgende Gründe:
Veränderungsmessung = z.B. nach Training, Therapie
Este Messung ist invalide = z.B. Störung des Untersuchungsablauf
Wiederholungen nach Zeitabstand = z.B. Studierfähigkeitstest zur Zulassung
Wie können Veränderungen der Messwerte nach einer Messwiederholung interpretiert werden?
Welches Problem muss bei Mehrfachmessung in Bezug auf die Reliabilität von Differenzenwerten beachtet werden?
Problem: Reliabiliät vom Differenzwerten
Annahmen und Forderungen der Klassichen Testtheorie:
Messwert besitzt immer einen Messfehler, der möglichst minimiert werden muss
—> Forderung: hohe Reliabilität eines Messverfahrens
Unterschiede zwischen Messerrten von zwei Testzeitpunkgen gehen nur auf Messfehler zurück
Folge: bei der Messung eines stabilen Merkmals müssen Testwerte hoch korrelieren
Forderung: hohe Re-Test-Reliabilität
Berechnung der Reliabilität von Differenzwerten:
Fazit:
“Damit ist eines dervorrangigen Ziele der Klassischen Testtheorie (KTT), nähmlich höchstmögliche Reliabilität zu jedem der möglichen (Einzel-) Zeitpunnkte zu erzielen, unvereinbar mit einer hohen Zuverlässigkeit der bestimmbaren Differenzwerte.
Oder mit anderen Worten: Die KTT führt zu dem Paradoxon, dass dieReliabilität von Differenzwerten immer geringer wird, je höher die Reliabilität der Ausgangswerte ist.”
Wie lässt sich das Reliabilitäts-Validitätsdilemma beschreiben?
Was ist das Paradoxe Fazit an dem Dilemma?
Hohe Korrelationen zwischen zwei Testzeitpungen (= hohe Retest-Reliabilität)
Differenzen der Testwerte können also nur als Zufallsfehler sein
D.h. aber Reliabilität der Differenzwerte ist nicht gegeben
Niedrige Korrelation zwischen zwei Testzeitpunkgen (= niedrige Retest-Reliabilität)
Differenzen können als reliabel angesehen werden, aber jeweilige Messung scheint nicht das Gleich zu sein, ist somit nicht valide
—> Die KTT führt zu dem Paradoxon, dass die Reliabilität von Dofferenzwerten immer geringer wird, je höher die Reliabilitö der Ausgangswerte ist
Wie lässt sich das Problem der Reggression zur Mitte beschrieben?
Wie hoch ist die Wahrschienlichkeit einer Veränderung des 2. Messwerts?
Extreme Messwerte kommen - bei einem normal verteilten Merkmal - selten in einer Vorstellung vor
Bei einer erneuten Messung ist es wahrscheinlicher, dass eher mittlere. Eiswürfel auftreten
Die ursprünglich extrem hohen oder auch niedrigen Messwerte werden somit bei erneuten Messung zur Mitte der Verteilung tendieren.
Die Wahrschienlichkeit einer Verämderung des 2. Messwerts = Je extremer die Messwerte beim 1. Zeitpunkt sind, desto größer ist die Wahrscheinlichkeit einer Veränderung im 2. Messpunkt.
Welche Unterformen der Konstruktvalidität gibt es?
Divergente Validität
Zusammehang zwischen dem zu messenden Konstrukt und ANDEREN Konstrukten —> sollte niedrig sein
Konvergente Validität
Zusammenhang zwischen dem zu messenden Konstukt und ÄHNLICHEN Konstrukten —> sollte hoch sein
Zuletzt geändertvor einem Jahr
