Definiere Validität
Validität ist das Ausmaß wie gut der Test dasjenige Merkmal misst, das er vorgibt zu messen
Erkläre das Reliabilitäts-Validitäts Dilemma
Reliabilität benötigt homogene Items (vgl. Cronbachs Alpha/Interne Konsistenz)
Validität benötigt allerdings eher heterogene Items also, dass viele Facetten abgedeckt werden (Inhaltsvalidität)
ABER: Reliabilität gleichzeitig Voraussetzung für Validität, denn wenn wenig wahre Varianz gemessen wird, dann wird Konstrukt ebenso wenig gut abgebildet
Wieso ist Objektivität eine Voraussetzung für Reliabilität
Rel(Y)= Kov (Y, Y´)
-> Korrelation zwischen Y und Y´ geringer, wenn also subjektive Durchführung/Auswertung/Interpretation stattfindet und somit Fehlervarianz steigt. Der Anteil der wahren Varianz von der Gesamtvarianz sinkt somit.
Wie Reliabilität erhöhen ohne Validität zu verletzen
Itemanzahl erhöhen (vgl. Interne Konsistenz)
Objektivität erhöhen
NICHT Homogenität erhöhen-> sonst Verletzung der Trennschärfe
Definiere Methodenbias und wie man ihn mit der Multitrait-Multimethod Analyse bestimmt
systematischer Einfluss von Eigenschaften der Erhebung (die unabhängig von dem zu messenden Merkmal sind) auf die Testwerte
Hier wenn:
Heterotrait-Monomethod größere Korrelation als Heterotrait Hetermethod
(HTMM > HTHM)
Wie bei Multitrait-Multimethod Analyse Konstruktvalidität bestimmen bzw Hinweise auf Konstruktvalidität
MTHM Korrelationen hoch sind und vor allem:
… MTHM höher als HTHM Korrelationen
… MTHM höher als HTMM Korrelationen
Nenne mögliche Gründe für Methodenbias
Testdurchführende
Erhebungsmethode
Kontext der Erhebung
Problem Methodenbias
Korrelationen zwischen nicht verwandten Konstrukten durch Methodenbias
-> Vorliegen von starkem Methodenbias gefährdet die Validität des Tests
denn Validität= das Ausmaß, in dem der Test dasjenige Mermal misst das er messen soll
—> gibt es einen Methodenbias und Ergebnisse kommen unter anderem zustande, wegen der Methode (d.h. Methode verändert Ergebnisse), dann wird korrektes Konstrukt nicht gemessen
Wie kann es zur hohen Korrelation von HTMM kommen
Arten von Validität
Inhaltsvalidität
Kriteriumsvalidität
Konstruktvalidität
Erkläre die Inhaltsvalidität
beruht rein auf inhaltlichen Überlegungen, ob die Items zum Konstrukt passen
Repräsentativität der Items für das interessierende Merkmal
keine statistische Analyse
Beinhaltet
Items müssen inhaltlich zum Konstrukt passen
Items müssen alle Facetten abbilden
Inhaltsbereiche müssen korrekt gewichtet sein
-> Inhaltsvalidität wird con Tesautoren oder Experten beurteilt
Quelle von Methodenbias kann sein: Erhebungsmethode
-> Erkläre
Menschen haben Antworttendenzen (z.b. eher immer zuzustimmen) weshalb dann höhere Korrelation zw. Konstrukten vorliegt
Soziale Erwünschtheit
Inwiefern kann Methodenbias entstehen durch Quelle: Testdurchführende
Durchführer ist sehr sympathisch oder unsympathisch-> verändert dann Motivation
Menschen, die physisch attraktiv sind, werden ggf. anders von Testdurchführende bewertet
Definiere die Kriteriumsvalidität
empirische Belege für den Zusammenhang zwischen Testergebnis und konkreten Leistungen oder Verhaltensweisen, die für Kriterien (also den Einsatzbereich) relevant sind
Korrelliert Kritrium mit dem Test?
Konkurrente: gleichzeitige Erfassung von Testw ert und Kriterium (Querschnitt)
Prädiktiv: Kriterium zeitlich später erfasst -> Längsschnitt
Wovon hängt die Kriteriumsvalidität ab
Reliabilität des Tests und Test mit dem man Kriterium misst
Andere Einflussfaktoren auf Kriterium
konzeptuelle Gemeinsamkeit Test und Kriterium z.B. Intelligenztest hohe Gemeinsamkeit mit Mathenote, da sie ähnliches messen
alle anderen Faktoren wie Extremwerte, die die Korrelation beeinflussen können
Inwiefern Kriteriumsvalidität von Bedeutung
Kriterium wird durch Konstrukt prädiziert
-> Konstrukt —> Kriterium
z.B. Intelligenz-> hohe Matheleistung
Korrellieren Kriterium u. Test hoch, so erfasst Test vermutlich wahres Konstrukt
Konkurrente Validitität: gleichzeitige Erfassung von Kriterium und Konstrukt
z.B. Intelligenztest und Mathenoten
Prädiktive: Kriterium wird erst später erfasst, da Konstrukt prädiktiv ist und Kriterium ggf. noch nicht aufgetreten ist
z.B. Einstellungstest (Konstrukt) und Berufserfolg (Kriterium)
Ein einflussfaktor auf die Kriteriumsvalidität ist die Reliabilität des Tests und des Kriteriums… Wie kann man diesbezüglich vorgehen
Doppelte Minderungskorrektur
-> geht davon aus, dass weder Test noch Kriterium Messfehler haben
-> Einfluss wird rausgerechnet
(denn geringe Reliabilität führt auch zu geringer Validität)
dadurch werden also nun die wahren Werte Y mit den wahren Werten K korrelliert
ohne doppelte Minderungskorrektur, könnte Kriteriumsvalidität bei geringen Reliabilität verzerrt und kleiner wirken als es ist -> nicht weil Kriterium nicht mit Test korrelliert, sondern aufgrund von Messfehlern des Kriteriums/des Tests
Problem Doppelte Minderungskorrektur
Bei sehr geringen Reliabilitäten kommt es zu einer zu starken Aufwertung und die Validität wird überschätzt
verringert die Motivation reliable Testverfahren zu entwickeln
Einfluss der Minderungskorrektur wenn die Reliabilität vom Test und Kriterium vom Anfang an =1 beträgt
hat keinen einfluss
Wie Konstruktvalidität überprüfen
Faktorenanalyse-> induktiv
ODER
Nomologisches Netzwerk
Definiere Konstruktvalidität
empirische Belege dafür, dass der Test das Konstrukt erfasst, welches er erfassen soll und !nicht ein anderes!
Erkläre das nomologische Netzwerk
Möglichkeit, um Konstruktvalidität zu prüfen
-> Theoretische Aussagen oder Gesetze, die die Beziehung zwischen einem Konstrukt und einem anderen beschreiben
Besteht aus Konstrukt, welches kausal mit Kriterium zusammenhängt
Antezedente führt kausal zu Konstrukt
Korrelate = Konvergent: Tests, die ein ähnliches Konstrukt messen, sollten hoch mit Test korrellieren
Unverwandtes Konstrukt = Diskriminant: Tests, die ein anderes Konstrukt messen, sollten niedrig mit Test korrellieren
-> konvergente Validität und diskriminante Validität muss für Konstruktvalidität gegeben sein
Was wird hiermit gezeigt
Inhaltsvalidität = Repräsentativität der Items für das interessierende Merkmal
-> Manche Facetten sind überrepräsentiert, manche gar nicht
Was wird hiermit abgebildet
Items repräsentieren nicht gleichermaßen alle Facetten des Konstrukts-> falsche Gewichtung
Items messen zusätzlich ein Konstrukt, das mit Test nichts zu tun hat
Inhaltsvalidität hier gegeben
-> Items passen inhaltlich zum Konstrukt
-> Items decken die gesamte Breite des Konstrukts ab
-> Korrekte Gewichtung der Inhaltsbereiche im Test
und es wird kein anderes Konstrukt gemessen
inwiefern kann Methodenbias entstehen: Kontext der Erhebung
z.B. Auswahlkontext -> Bewerber wolllen sozial erwünschte Antworten wählen
Definiere nomologisches Netzwerk
Theoretische Aussagen oder Gesetze, die die Beziehung zwischen dem Konstrukt und anderen Konstrukten beschreibt
Wann ist Test konstruktvalide
wenn er mit stark verwandten Konstrukten zusammenhängt (Korrelate)
wenn er mit anderen Konstrukten nicht zusammenhängt (Diskriminante)
Gibt es einen einzigen Kennwert der Konstruktvalidität
NEIN
Quellen von Methodenbias
Erhebungsmethode (Selbstbericht)
Testdurchführende /Beurteiler
—> Korrelation zwischen nicht verwandten Konstrukten durch Methodenbias!
Zuletzt geändertvor 19 Tagen