(Folie 5) Wie entsteht die interne Konsistenz aus der Halbierungsmethode?
Die interne Konsistenz ist eine Verallgemeinerung der Halbierungsmethode.
Der Test wird dabei in so viele Teile zerlegt, wie Items vorhanden sind.
Bekanntester Kennwert:
Cronbachs Alpha
Cronbachs Alpha entspricht dem:
Mittelwert aller möglichen Testhalbierungen
(Folie 5) Welche Bestandteile enthält die Formel von Cronbachs Alpha?
Die Formel enthält:
m
Anzahl paralleler Messungen bzw. Items
sᵢ²
Varianz der einzelnen Items
sₜ²
Varianz des gesamten Tests
also des Summenwerts aller Items
Details merken:
Cronbachs Alpha wurde nach der Folie von Cronbach (1951) eingeführt.
(Folie 6) Warum kann Cronbachs Alpha problematisch sein?
Cronbachs Alpha macht mehrere Annahmen, die laut Folie oft unrealistisch sind:
Alle Items repräsentieren das Konstrukt im gleichen Ausmaß
Alle Items hängen sehr stark mit dem Gesamtwert zusammen
→ Dadurch kann die interne Konsistenz ungenau geschätzt werden.
(Folie 6) Warum wird der Omega-Koeffizient als Alternative genannt?
Der Omega-Koeffizient gilt als alternative Schätzmethode der internen Konsistenz.
Vorteile laut Folie:
macht weniger Annahmen
nutzt realistischere Annahmen
basiert auf:
den itemspezifischen Zusammenhängen
mit dem gemessenen Merkmal
Zusätzlich:
bietet Konfidenzintervalle
zeigt dadurch:
interne Konsistenz ist ebenfalls nur eine Schätzung
(Folie 7) Wie beeinflusst die Anzahl der Items Cronbachs Alpha?
Je mehr Items ein Test enthält, → desto höher fällt meist Cronbachs Alpha aus.
Dadurch kann sogar:
ein Test mit
heterogenem Konstrukt
und niedrig korrelierenden Items
trotzdem ein hohes Alpha erreichen.
(Folie 7) Was sagt eine sehr hohe interne Konsistenz bei kurzen Tests aus?
Wenn ein kurzer Test eine sehr hohe interne Konsistenz besitzt:
→ sind die Items meist redundant.
Das bedeutet:
die Items ähneln sich sehr stark.
(Folie 7) Warum hängt die interne Konsistenz von der Homogenität eines Merkmals ab?
Homogene Merkmale → besitzen meist eine höhere interne Konsistenz
Heterogene Merkmale → besitzen meist eine niedrigere interne Konsistenz
Die Folie stellt deshalb die Frage:
Muss ein Test überhaupt immer eine sehr hohe interne Konsistenz haben?
(Folie 8) Warum ist die Reliabilität des Gesamttests höher als die einzelner Testteile?
Die Folie beschreibt:
Die Reliabilität des Gesamttests → ist höher als die Reliabilität einzelner:
Items
Testhälften
Ein Weg zur Steigerung:
Testverlängerung
also mehr Items hinzufügen
(Folie 8) Wozu dient die Spearman-Brown-Formel?
Mit der Spearman-Brown-Formel kann bestimmt werden:
wie sich die Reliabilität verändert,
wenn ein Test verlängert wird.
Voraussetzung:
die einzelnen Testteile messen dasselbe Merkmal.
(Folie 8) Welche Möglichkeiten zur Steigerung der Reliabilität nennt die Folie noch?
Neben der Testverlängerung nennt die Folie:
umsichtige Konstruktion des Tests
Beispiele:
Konstruktionsstrategien
Antwortformat
Itemformulierung
(Folie 9) Warum sind Reliabilitätskoeffizienten stichprobenabhängig?
Die Folie nennt mehrere Einflussfaktoren:
Homogene Stichproben → führen eher zu niedrigeren Reliabilitäten
Kleine Stichproben
deutlich unter 100 Personen → erlauben nur grobe Schätzungen der Korrelationen
(Folie 9) Wovon hängt die Retest-Reliabilität besonders ab?
Die Retest-Reliabilität sollte hoch sein bei:
kurzen Retest-Intervallen
einem stabilen Merkmal
Außerdem:
Je größer das Retest-Intervall, → desto wichtiger wird die Stabilität des Merkmals.
(Folie 9) Welche weiteren Einflussfaktoren auf Reliabilität nennt die Folie?
Weitere Einflussfaktoren sind:
Qualität der Items
Objektivität
(Folie 10) Warum hängt die empfohlene Reliabilität vom Konstrukt ab?
Die Folie unterscheidet:
Leistungsdiagnostik → gewünschte Reliabilität etwa:
.90–.95
Persönlichkeitsdiagnostik → gewünschte Reliabilität etwa:
.70–.80
(Folie 10) Warum braucht Individualdiagnostik höhere Reliabilität?
Die Folie sagt:
Individualdiagnostik → erfordert höhere Reliabilität als Kollektivdiagnostik.
Außerdem wichtig:
Einsatzbedingungen des Tests
Screening vs. genaue Diagnostik
Kosten-Nutzen-Abwägung
(Folie 10) Warum sind längere Verfahren nicht automatisch besser?
Längere Verfahren sind meist reliabler.
Aber:
sie sind gleichzeitig → weniger ökonomisch in der Anwendung.
(Folie 12) Was ist die zentrale Frage der Validität?
Die zentrale Frage lautet:
Misst der Test, was er messen soll?
Validität bedeutet:
Gültigkeit
(Folie 12) Worauf beziehen sich Schlussfolgerungen bei der Validität?
Validität beschreibt:
wie angemessen Schlussfolgerungen sind
vom Testwert
auf ein psychologisches Merkmal
oder auf Verhalten außerhalb der Testsituation
(Folie 12) Warum ist Validität in der psychologischen Diagnostik so wichtig?
Die Validität von Testwerten ist die:
Grundlage für Entscheidungen in der psychologischen Diagnostik.
(Folie 13) Gibt es einen einzigen Kennwert für Validität?
Nein.
Laut Folie gibt es:
unterschiedliche Kennwerte zur Bestimmung der Validität.
Beispiel:
Korrelation zwischen:
Intelligenztestergebnis
und Schulerfolg
(Folie 13) Wie wird Validität meistens beurteilt?
Die Beurteilung erfolgt meist durch:
verbale Aussagen
zusätzlich:
Validitätskoeffizienten
(Folie 13) Warum ist die Validierung eines Tests nie vollständig abgeschlossen?
Die Validierung von Tests oder Fragebögen → ist eigentlich nie abgeschlossen.
Es entstehen immer neue validitätsbezogene Fragen.
(Folie 13) Welche Beispiele für validitätsbezogene Fragestellungen nennt die Folie?
Beispiele sind:
Erfasst ein Verfahren wirklich Hoffnung?
Kann ein Fragebogen bestimmen,
wie herausfordernde Aufgaben angegangen werden?
Wie gut misst ein Bogen das Konstrukt Hoffnung?
(Folie 14) Welche drei Arten der Validität nennt die Übersichtsgrafik?
Die Grafik nennt drei Arten:
Inhaltsvalidität
Kriteriumsvalidität
Konstruktvalidität
(Folie 15) Was bedeutet Inhaltsvalidität?
Die Inhaltsvalidität beschreibt:
wie repräsentativ die:
oder Aufgaben eines Tests
für das zu messende Merkmal sind.
(Folie 15) Welche Grundlage braucht Inhaltsvalidität?
Für ein Merkmal liegt laut Folie vor:
eine inhaltliche:
Beschreibung
Definition
oder Theorie
Intelligenz
Aggressivität
Hoffnung
(Folie 15) Wie werden Items bei hoher Inhaltsvalidität ausgewählt?
Die Items werden so ausgewählt, dass sie:
das Merkmal → repräsentativ erfassen
Zusätzlich wichtig:
genaue Dokumentation im Manual
Beschreibung der Itemgenerierung und Itemauswahl
(Folie 15) Wie kann Inhaltsvalidität empirisch bestimmt werden?
Die Folie nennt:
Expert*inneneinschätzungen der Items
Dabei wichtig:
Beurteiler*innenübereinstimmung
(Folie 16) Was bedeutet Kriteriumsvalidität?
Kriteriumsvalidität beschreibt:
den Zusammenhang zwischen:
Testergebnis
und konkreten Leistungen oder Verhaltensweisen außerhalb der Testsituation
(Folie 16) Welche Anforderung muss ein Kriterium erfüllen?
Das Kriterium muss:
für den vorgesehenen Einsatzbereich des Tests → relevant sein.
(Folie 16) Welche drei Unterarten der Kriteriumsvalidität nennt die Folie?
Übereinstimmungsvalidität
Vorhersagevalidität
Inkrementelle Validität
(Folie 17) Was bedeutet Übereinstimmungsvalidität?
Übereinstimmungsvalidität bedeutet:
Testdurchführung
und Messung des Validierungskriteriums
finden: → nahezu gleichzeitig statt.
Andere Begriffe:
concurrent validity
konkurrente Validität
(Folie 17) Wie wird Übereinstimmungsvalidität bestimmt?
Durch einen Validitätskoeffizienten, zum Beispiel:
die Korrelation zwischen:
und Kriterium
(Folie 17) Welche Beispiele zur Übereinstimmungsvalidität nennt die Folie?
Validierung eines Fragebogens zu:
Leistungsmotivation
Machtmotivation
Anschlussmotivation
Direkt nach dem Fragebogen könnten:
Wettbewerbe inszeniert werden
Gruppendiskussionen stattfinden
soziale Kontaktsituationen erzeugt werden
(Folie 18) Was bedeutet Vorhersagevalidität?
Vorhersagevalidität bedeutet:
Das Kriterium wird → erst später erhoben.
prognostische Validität
predictive validity
(Folie 18) Wie läuft eine prognostische Validierung ab?
Ablauf laut Folie:
Messung:
Test oder Fragebogen
Wochen/Monate/Jahre später:
Messung des Kriteriums
(Folie 18) Welches Beispiel nennt die Folie für Vorhersagevalidität?
Validierung von Studierfähigkeitstests
Ablauf:
Studierfähigkeit wird getestet
Jahre später wird:
der Studienerfolg erhoben
(Folie 19) Was ist das allgemeine Ziel der inkrementellen Validität?
Ziel ist:
ein relevantes Kriterium → möglichst umfassend zu erklären.
(Folie 19) Warum reicht eine einzelne Variable oft nicht aus?
Die Folie nennt als Problem:
Die Realität ist meist:
komplex
Deshalb reicht:
eine einzelne Variable meist nicht aus.
(Folie 19) Wie wird das Problem bei inkrementeller Validität gelöst?
Lösung laut Folie:
Nutzung mehrerer Variablen zur Erklärung des Kriteriums.
(Folie 19) Woran erkennt man inkrementelle Validität?
Hinweis auf inkrementelle Validität:
zusätzlicher Zuwachs an:
aufgeklärter Varianz im Kriterium
durch Hinzunahme des neuen Tests.
(Folie 20) Welche Variablen werden bei inkrementeller Validität betrachtet?
Erfasst werden:
Variable A
Variable B
Kriteriumsvariable
Dabei gilt:
Variable B =
der zu validierende Test
(Folie 20) Welche zwei Kennwerte nennt die Folie zur Bestimmung inkrementeller Validität?
A:
Semipartialkorrelation (sr)
unique contribution
ΔR²
Änderung der aufgeklärten Varianz
(Folie 20) Was beschreibt die Semipartialkorrelation (sr)?
Die Semipartialkorrelation beschreibt:
und dem Kriterium
unter Kontrolle:
des Anteils von Variable A im Kriterium
(Folie 20) Was beschreibt ΔR² bei inkrementeller Validität?
ΔR² beschreibt:
den Anteil der Varianz im Kriterium, der ausschließlich von:
Variable B erklärt wird.
(Folie 20) Mit welchem Verfahren kann inkrementelle Validität untersucht werden?
hierarchische multiple Regressionsanalyse
(Folie 21) Wie zeigt das Beispiel „Hoffnung“ inkrementelle Validität?
Kriterium:
schulische Leistung
Variable A:
Liebe zum Lernen
erklärt etwa:
5 %
sr ≈ .22
Variable B:
erklärt zusätzlich:
etwa 10 % (ΔR²)
sr ≈ .32
(Folie 21) Was zeigt das Beispiel zu strukturierten Interviews?
Intelligenztests:
r = .51 mit Berufserfolg
strukturierte Interviews:
ebenfalls r = .51
Kombination:
Intelligenztest + Interview:
R = .63
→ inkrementelle Validität des Interviews:
ΔR = .12
(Folie 22) Warum lässt sich Kriteriumsvalidität nicht pauschal beurteilen?
pauschale Beurteilungen sind nicht möglich
Faustregeln sind nicht brauchbar
(Folie 22) Wie soll die Höhe der Kriteriumsvalidität stattdessen beurteilt werden?
Vergleichswerte suchen
(Folie 23) Welche Kriteriumsbereiche zeigt die Tabelle zu Persönlichkeitsfragebögen?
Die Tabelle zeigt Korrelationen mit:
Verhalten im Alltag
Fremdbeurteilung
Schulerfolg
Ausbildungserfolg
Studienerfolg
Berufserfolg
(Folie 23) Welche Besonderheit wird in der Grafik zu Persönlichkeitsfragebögen hervorgehoben?
Die Grafik enthält den Hinweis:
Korrelationen mit Fremdbeurteilungen gehören eher zur:
(Folie 24) Welche Bereiche werden bei Intelligenztests als Kriterien betrachtet?
Die Tabelle zeigt Zusammenhänge mit:
Bildungsniveau
(Folie 25) Was bedeutet Konstruktvalidität?
Konstruktvalidität bedeutet:
empirische Belege dafür, dass ein Test:
genau das theoretische Konstrukt misst,
das gemessen werden soll
und nicht ein anderes.
(Folie 25) Worin liegt die Bedeutung der Konstruktvalidität?
Die Bedeutung liegt laut Folie:
nicht primär in direkter praktischer Nutzung, sondern in:
der theoretischen Klärung, was ein Test tatsächlich misst.
(Folie 26) Welche Hinweise auf Konstruktvalidität nennt die Folie?
Gruppenunterschiede
Korrelationen
interne Struktur
Veränderung über die Zeit
experimentelle Veränderung/Validierung
(Folie 26) Warum gibt es keinen einzelnen Koeffizienten für Konstruktvalidität?
Die Folie betont:
Es gibt nicht den einen Kennwert für Konstruktvalidität.
Sie wird über:
verschiedene empirische Hinweise erschlossen.
(Folie 27) Was beschreibt die theoretische Ebene des nomologischen Netzwerks?
Die theoretische Ebene geht davon aus:
mehrere Konstrukte existieren
und stehen in bestimmten Beziehungen zueinander.
(Folie 27) Was bedeutet konvergente Validität?
Konvergente Validität bedeutet:
Zusammenhänge mit Instrumenten, die:
ein gleiches oder ähnliches Merkmal messen
und bereits validiert sind.
(Folie 27) Welche zusätzlichen Zusammenhänge nennt die Folie bei konvergenter Validität?
Auch wichtig:
Zusammenhänge zwischen:
Selbst- und Fremdeinschätzungen desselben Merkmals
(Folie 27) Was bedeutet diskriminante Validität?
Diskriminante Validität bedeutet:
im Idealfall:
keine Zusammenhänge mit Instrumenten, die andere Merkmale messen.
(Folie 27) Welche Logik gilt für konvergente und diskriminante Validität?
Koeffizienten der:
konvergenten Validität
müssen deutlich höher sein als:
die der diskriminanten Validität.
(Folie 28) Welche Vergleichswerte nennt die Folie für Persönlichkeitseigenschaften?
Bei Verfahren zu Persönlichkeitseigenschaften:
durchschnittlich:
r = .37
für Zusammenhänge zwischen:
Selbst- und Fremdeinschätzungen
(Folie 28) Welche Vergleichswerte nennt die Folie für Verhaltens- oder emotionale Probleme?
Bei Verfahren zu Verhaltens- oder emotionalen Problemen:
r = .25
zwischen:
(Folie 29) Warum ist die Aussage „Dieser Test ist valide“ laut Folie problematisch?
Validität ist ein:
breit definiertes Gütekriterium
Deshalb ist die Aussage:
„Dieser Test ist valide“ → nicht präzise genug.
(Folie 29) Worauf bezieht sich Validität stattdessen?
Validität bezieht sich auf:
einzelne Interpretationen
und Verwendungen von Testergebnissen
Folie 29) Warum ist Validierung ein kontinuierlicher Prozess?
Interpretationen werden:
durch theoretische Argumente
und empirische Belege
unterstützt.
Deshalb bleibt Validierung:
ein kontinuierlicher und offener Prozess.
(Folie 30) Welche Leitfragen zur Validität nennt die Vorlesung?
Die Folie nennt drei zentrale Fragen:
Welche Arten der Validität gibt es?
Wie werden die Arten der Validität ermittelt?
Wann spricht man von einer „guten“ Validität?
(Folie 30) Welche Verbindung stellt die Folie zur Reliabilität her?
Die Folie verweist:
Fragen zur Reliabilität → siehe Sitzung 5
Die heutige Sitzung ergänzt:
Reliabilität
und behandelt ausführlich:
Validität
(Folie 32) Was sollen Studierende bis zur nächsten Sitzung tun?
Nachbereitung der Sitzung
offene Fragen klären oder notieren
Literatur und Kommiliton:innen nutzen
Fragen in MS Teams posten
Reaktivierung der Inhalte bearbeiten
(Folie 33) Welches Thema folgt in der nächsten Sitzung?
Nächstes Thema:
Auswahl diagnostischer Instrumente V
Schwerpunkt:
Normen
(Folie 33) Welche diagnostischen Schritte zeigt die Übersichtsgrafik?
Die Grafik zeigt folgende Abfolge:
Globale Fragestellung
Psychologische Fragen
Auswahl diagnostischer Instrumente
Diagnostische Untersuchung
Integration der Ergebnisse
(Wiederholung) Welche drei Arten der Validität muss man unterscheiden?
repräsentative Inhalte/Items
Zusammenhang mit Verhalten oder Leistungen außerhalb der Testsituation
misst der Test wirklich das theoretische Konstrukt?
(Wiederholung) Welche drei Unterarten der Kriteriumsvalidität wurden behandelt?
Test und Kriterium gleichzeitig
Kriterium später erhoben
zusätzlicher Erklärungsbeitrag eines Tests
Wiederholung) Welche Faktoren erhöhen laut Vorlesung die interne Konsistenz?
Höhere interne Konsistenz entsteht durch:
mehr Items
höhere Interkorrelationen der Items
homogenere Merkmale
Wiederholung) Welche Probleme kann ein sehr hohes Cronbachs Alpha haben?
Mögliche Probleme:
viele Items können Alpha künstlich erhöhen
kurze Tests mit sehr hohem Alpha: → oft redundante Items
Cronbachs Alpha basiert auf teilweise unrealistischen Annahmen.
(Wiederholung) Warum gibt es keinen einzigen Validitätskoeffizienten?
Weil Validität:
unterschiedliche Interpretationen
unterschiedliche Anwendungen
und unterschiedliche theoretische Fragen umfasst.
Deshalb:
mehrere Kennwerte nötig.
Wiederholung) Was ist die Grundidee konvergenter und diskriminanter Validität?
Konvergente Validität → hohe Zusammenhänge mit ähnlichen Konstrukten
Diskriminante Validität → geringe Zusammenhänge mit anderen Konstrukten
Last changed6 days ago