10 Validität

=> Grad der Genauigkeit, mit dem ein Test misst, was er messen soll

Val (X) = 0.6 (hoch)

mind. Val (X) = 0.4

• Inhaltsvalidität

• Kriterienvalidität

• Konstruktvalidität

auch logische Valdität, Augenscheinvalidität

=> Testitem erafssen das zu messende Konstrukt in seinen wichtigsten ASpekten

Bsp.: Englischer Wortschatz —> 7/10 Vokabeln gekonnt

—> Korrelation zw. Testergebnis und Kriterium

Problem: oft kein adäquates Außenkriterium vorhanden

—> kein diskreter numerischer Kennwert, sondern “Gesamtbild” unterschiedlicher Quellen

—> um auf latentes Konstrukt zu schließen, braucht es Konstruktvalidität

Def.: Konstruktvalidität liegt vor, wenn aus dem zu messenden Zielkonstrukt Hypothesen ableitbar sind, die anhand der Testwerte bestätigt werden können

—> wenn ver. Methoden zu ähnlichen Ergebnissen hinsichtlich Merkmalsausprägung führen

—> Operationalisierungen des Zielkonstrukts unterscheiden sich von anderen, verwandten Konstrukten (alle Konstrukte sollten mit derselben Methodenart erfasst werden)

=> Multitrait-Multimethod Methode (MTMM)

MTMM arbeitet mit Korrelationen, die sich ergeben:

• Selbe SP

• mehrere Merkmale, Konstrukte (traits)

• mehere Methoden

=> wechselseitg korreliert

=> Problem: subjektives Fazit ob Konstruktvalidität gegeben ist

1. Monotrait Monomethod Diagnole

   • Reliabilitätsdiagonale

2. Monotrait Heteromethod (konvergente Validität)

   • ein Konstrukt wird mit mehreren Methoden gemessen —> sign. Korrelation zw. Methoden zeigt konvergente Validität an

3. Heterotrait Monomethod

   • Konstrukte werden untereinander korreliert, allerdings immer nur bei gleicher Methode

   • Konstrukte sollten, wenn diskriminate Validität vorliegt, möglichst gering korrelieren (ansonsten Redundanz)

4. Heterotrait Heteromethod

   • Korrelation zw. unterschiedlichen Konstrukten, die mit unterschiedlichen Methoden gemessen wurden

   • Ziel: geringste Korrelation => weder methodische noch inhaltliche Übereinstimmung

—> Minderung der Korrelation durch Unreliabilität

—> Einbuße durch Reliabilitätsmängel korrigierbar

—> je geringer rcc, desto stärker wird Validität unterschätzt

—> Erweiterung der Inhaltsvalidität

—> Dient der Feststellung von Lernzuwachs

—> Kein Zuwachs bei Tests, die nicht curricular valide sind

• wird nach 2 Beschulungen zwischen 2 inhaltsvaliden Tests Lernzuwachs festgestellt => valide

=> Validitätsgewinn, den Test zur Absicherung einer Prognose bzw. zur Erhöhung der Gesamtvalidität aller Prädiktoren beiträgt

Jingle: —> selber Name, verschiedene Konstrukte

Jangle: —> verschiedene Namen, selbes Konstrukt

c) Wurzel der Reliabilität des Tests

c) Reliabilitätsmängel

b) Heterotrait-Monomethod-Dreiecke sollten kleiner sein als Monotrait-Heteromethod-Dreiecke.

• Zufallsgesteuerte Auswahl

• Geschichtete Auswahl

• Klumpenauswahl

• Auswahl aufs Geratewohl

—> Standardnorm wenn Rohwerte X normal verteilt

• z-Transformation der Rohwerte ergibt Standardnormalverteilung. Wahrscheinlichkeit eines Intervall zwischen 2 beliebigen z-Werten, zu ermitteln

• z-Skalen nicht sehr gebräuchlich (Dezimalzahlen, negative Werte). Lineare Skalentransformationen verschieben Lage und Streuung. Bekannteste Transformation führt zu Z-Skala (Z=100+10 z)

• Durch lineare Transformationen, die auf zTransformationen aufbauen, wird keine Normalisierung erreicht. Flächentransformationen sind kein geeignetes Werkzeug um höherwertige Skala zu generieren

—> wahrschlks.-theoretisches Modell

• Auswahl durch Zufallsmechanismus

• nicht-subjektiv

• gut fundiert

• aufwändig

• idR nicht realisierbar

  
  

  => Einfacher Zufall: jede Person aus Population gleich wahrscheinlich rekrutiert (nach Lotterie, Zufallszahlen, systematische Verfahren). Schwerlich realisierbar

—> Population in Schichten/Strata unterteilt

• Streuung des Merkmals innerhalb der Schichten möglichst klein. Aus jeder Schicht Elemente zufällig ziehen. Für Schulleistungstest z.B. Schultypus gute Schichtung.

• Nötiges N umso geringer, je kleiner Varianz innerhalb und je größer Varianz zwischen Schichten ist (Schichtungseffekt).

• Großer Schichtungseffekt wenn Schichtungsmerkmal mit Testwerten korrelieren

• Auswahl der Elemente pro Schicht:

  • Proportional: Anteil wie in Population

  • Disproportional: kleinere Schichten größerer Anteil

  • Optimal: Genauigkeitsgewinn bei fixem N maximieren. Schwerlich realisierbar

—> Elemente in Population vorgruppiert (Klumpen z.B. Haushalte oder Schulklassen).

• Klumpen als Auswahleinheit zweckmäßig.

• N Klumpen zufällig gewählt und komplett einbezogen.

• Stichprobenfehler umso größer, je geringer Varianz innerhalb und je größer Varianz zwischen Klumpen (Klumpeneffekt)

-> Planlose Ziehung verfügbarer Vpn. Keine Gewähr, dass Stichprobe Abbild der Population.

• Große und unkontrollierbare Verzerrungen.

• Mängel bei post hoc Stratifizierung begrenzbar.

• Bei Normierung von Tests am häufigsten eingesetzt

  
  

  => Frage nach optimalem Stichprobenverfahren nicht adäquat. Antwort hängt von Fragestellung und Ressourcen ab