Validität
= Ausmaß, in dem empirische Befunde und theoretische Argumente die Interpretation von Testwerten für beabsichtigte Verwendung von Tests unterstützen
Validität - Arten
Kriteriumsvalidität = korrelativer Zusammenhang Testwert mit Außenkriterium prüfen
Übereinstimmungsvalidität = zeitlicher Zusammenhang Testwert und Kriterium
prognostische Validität = zeitlich vorgeordnete Testung, Vorhersage Kriterium
inkrementelle Validität = Ausmaß in dem Test Vorhersage eines Kriteriums verbessert, wenn zusätzlich zu anderen Verfahren in Vorhersage aufgenommen wird
Inhaltsvalidität = Prüfung durch Experten der Passung Testinhalt und Konstruktdefinition
Augenscheinvalidität = unmittelbar offensichtliche Gültigkeit (auch für Laien)
Konstruktvalidität = dass Test zugrunde liegendes theoretisches Konstrukt misst
konvergente Validität = korrelativer Zusammenhang Testwert mit Tests bezeichnet, die dasselbe/ ähnliche Konstrukt erfassen
diskriminante Validität = niedrige korrelative Zusammenhänge Testwert mit anderen Tests
faktorielle Validität = Befunde faktorenanalytische Verfahren, mit denen erwartete dimensionale Struktur eines Tests bestätigt wurde
Validität von Testwertinterpretationen
Validität bezieht sich auf spezifische, explizit zu definierende Interpretation und Verwendung von testwerten
—> jede unterschiedlicher Testwertinterpretation benätogt separate Prüfung der Validität
Argumentationsbasierter Ansatz der Validierung
hypothesengeleitete Forschung zur Untermauerung von Testwertinterpretationen und Testanwendungen
Validierung als Prozess der Sammlung von Validitätsargumenten
Arten von Testwertinterpretationen
—> Bewertung: vergleichen des gemessenen Merkmals
—> Verallgemeinerung
—> Extrapolation: von Testergebnissen auf Bereich außerhalb Testsituation geschlossen
—> Erklärung: Testergebnis mit Beug auf Theorien
—> Entscheidungsfindung: schlussfolgernde Entscheidung ableiten
Latent-Class-Analyse(LCA)
Vier-Typen-Modell der Geschlechterrollen:
feminin, maskulin, androgyn (hohe Werte beider), undifferenziert (niedrige Werte beider)
Likelihood Funktion
unbekannte Modellparameter
—> relative Klassengrößen Pi(g) = G - 1 Parameter zu schätzen, da Parameter über Klassen hinweg zu 1 addieren und g-te Parameter festliegt
—> klassenspezifische Antwortwahrscheinlichkeit für jedes Item P gemäß G
interaktives Schätzverfahren = Parameter schrittweise angepasst
Likelihood Ratio Test
LR = Likelihood Ratio
zwischen L1 und L0 quantifizieren (Quotientenbildung)
Freiheitsgrade = Differenz Anzahl gegebener Infos (s) und Anzahl zu schätzender Modellparameter —> df = s - 1
erforderliche Stichprobengrößen = Stichproben mind. so viele Personen, wie Antwortmuster
Klassischer x2-Test
Modellfit
Vorteile: Diskrepanz Modell inferenzstatistisch abgesichert
Nachteil: starke Abhängigkeit von Stichprobengrößen —> zu klein = Test nicht exakt
Bootstrap Verfahren
Erzeugung einer Prüfverteilung mit stimulierten Daten
Genauigkeit der Klassenzurodnung
Treffsicherheit T (hitrate) = Anzahl korrekt zugeordneter Fälle
Wahrscheinlichkeit einer falschen Klassenzuordnung (E)
Eliminierung nicht trennscharfer Items
Trennschärfe eines Items = gering ist Argument Item zu entfernen
—> je geringer Summe Items desto schlechter repräsentiert
Diskriminationsindex (D) = wie groß Unterschiedlichkeit (Varianz) der erwarteten Itemantworten zwischen latenten Klassen ist, wobei Zwischenklassenvarianz an Unterschiedlichkeit (Varianz) der Itemantworten innerhalb einer Klasse, summiert über Klassen hinweg, relativiert wird
Exploratorische Anwendungen der LCA
finden des besten Modells
—> indirekter Vergleich von Modellen mit unterschiedlicher Klassenanzahl
—> struktursuchendes/ entdeckendes Verfahren, nur Anzahl Klassen muss spezifiziert Werden
—> Interpretation der Klassenunterschiede mit externen Kriterien
Konfirmatorische Anwendungen der LCA
esten von Modellrestruktionen
—> fixieren von Parametern auf bestimmten Wert
—> Gleichsetzen Parameter —
> Ordnungsrestriktion
Exploratorische Faktorenanalyse (EFA)
EFA = liefert Erklärungsmodell für die in Items erhaltenen Infos
Zielsetzung der EFA
—> Wie viele Dimensionen für ökonomische Darstellung Items nötig?
—> Messen alle Items unidimensional?
—> Weist hoher/ niedriger Itemwert jedes Items auch auf hohen/ niedrigen Testwert hin?
—> Wie erhaltenen Faktoren inhaltlich interpretiert?
—> Welche Items genügen Anforderungen für guten Test?
EFA - Ablauf
Aufstellung Faktorenmodell
Ermittlung Anzahl notwendiger Faktoren (Faktorenextraktion) —> welche Extraktionsmethode und welche Kriterien zur Bestimmung Faktorenanzahl
Rotation der Faktoren, um eindeutiges Ladungsmuster zu erzeugen —> welches Rotationsverfahren
Beurteilung Modellgüte und Ladungsmuster hinsichtlich, wie gut Item Faktoren messen
Faktormodell (Fundamentaltheorem)
Itemwert = gerichtete Summe der Einflüsse der berücksichtigten Faktoren + Summe Einflüsse der nicht berücksichtigten Faktoren
gemeinsame Faktoren —> nicht berücksichtigt = alle weiteren Einflüsse, die atemspezifisch sind (Residuum)
intuitive Modellvorstellung
Fundamentaltheorem: Erklärung beobachteten Itemwerte durch gemeinsame Faktoren
Faktoren erklären Korrelationsmuster der Items
Abbruchkriterien der Faktorenextraktion
Kaiser-Guttman-Kriterium
Faktoren als relevant erachtet, deren Eigenwerte größer sind als durchschnittliche Varianz Var(y)
Eigenwerte größer 1 = relevant
Vorteil: Einfachheit
Nachteil: zu viele Faktoren
Abhilfe: Eigenwerte > als durchschnittlicher Eigenwert = relevant
Elbow-Kriterium (Scree-Test)
Beurteilung der relativen Größe der Eigenwerte
Scree-Plot = Darstellung Eigenwertverlauf (von links nach rechts) —> Faktoren gewählt die Links vom Knick (Elbow) des Verlaufs liegen
zuverlässig bei eindeutigem Eigenwertverlauf
bei uneindeutigem Eigenwertverlauf nicht verwendbar
häufig fälschliche Eigenwerte der nicht reduzierten Korrelatioxsmatrix verwendet
Parallelanalyse
Datengenerierung (künstlicher Zufallsdaten)
Auswertung der Zufallsdaten —> Berechnung der mittleren Eigenwerte der Zufallsdaten
Visualisierung der EIgenwertverläufe —> Vergleich mit Eigenwerten der empirischen Daten
Vorteil: zuverlässige Ergebnisse
Nachteil: aufwendige Überprüfung
Faktorenrotation
Faktorenunbestimmheit = unendlich viele äquivalente Faktorenlösungen
weiteres Kriterium notwendig, um sinnvolle Lösungen zu generieren
Modellevaluation
Residualmatrix (D)
beinhaltet Differenzen zwischen empirischer (S) und modellimplizierter Korrelatioxsmatrix (Summe)
Vergleich empirischer und modelltheoretischer Korrelation
positive, negative und Null-Differenzen
Interpretation wird mit zunehmen Itemanzahl komplizierter
Modellevaluation und Itemauswahl
Faktoreninterpretation
inhaltliche Faktoreninterpretation basiert auf Faktorlasungmuster
Korrelationsmzster der Faktoren berücksichtigen
Invertierung der Faktoren
Fakturierte (Faktorscores)
gegen an welche Werte die Testpersonen in extrahierten (und rotierten) Faktor aufweisen
Faktordeteriniertheit führt zu Unbestimmtheit der Fakturierte
verschiedene Methoden
Summenscores = in Praxis häufiger, nimmt Gleichgewichtung aller Items an —> Fakorladung ähnlich = Faktorwerte und Summenscore ähnlich
Zuletzt geändertvor 2 Jahren