Tutorium Übungsaufgaben

• Menge möglicher, gültiger Indikatoren für das Konstrukt ist nie abschließend festzulegen

• Konstrukte werden ständig weiter erforscht, sind also stets Gegenstand der Forschung

• werden weiterentwickelt.

Manifeste Variablen können beobachtet, also gemessen werden, dabei können sie Indikatoren

sein für latente – also dahinter liegende, verborgene und nicht direkt beobachtbare – Variablen.

1. Jede Messung ist fehlerbehaftet.

2. Messen diese Verhaltensstichproben („Aufgaben“) wirklich dasselbe Konstrukt?

3. Problem der Definition von Maßeinheiten einer Messskala.

• Es gibt keinen allgemein akzeptierten Ansatz für die Messung eines bestimmten Konstrukts.

• Psychologische Messungen basieren in der Regel auf mehr oder weniger limitierten Verhaltensstichproben.

Aussagekraft: N, O, I

Anzahl erlaubter Transformationen: I, O, N

• Die Skala wird eindeutiger und enthält damit mehr Informationen

• Die Menge an zulässigen Transformationen schränkt sich ein

• Die Skalenwerte liegen stärker fest

1. Testgütekriterien ausreichend hoch

2. Pragmatische Position: Intervallskalenniveau besitzt höhere Aussagekraft als Ordinal- oder Nominalskalenniveau; wenn also Prognosen unter der Annahme von Intervallskalenniveau funktionieren, kann dieses so angenommen werden

• Erschwerter Hypothesentest durch fälschliche Annahme eines zu hohen Skalenniveaus (bei signifikantem Ergebnis hat die Annahme „funktioniert“ und die Datenqualität gestimmt).

• Verteilung der in z-transformierte Rohwerte ähnelt der z-Werte Verteilung der Standardnormalverteilung

Trotz Ordinalskalenniveau enthält die Rohwertsumme alle Informationen über das Testverhalten

Bei der internen Konsistenz ist nur eine Messung erforderlich, wohingegen bei der Paralleltest- Reliabilität viele Items konzipiert werden müssen, um zwei Parallelformen eines Tests realisieren zu können.

Es werden jeweils unterschiedliche Dinge miteinander verglichen (der Test mit sich selbst oder mit einem Testzwilling). So könnte zum Beispiel jeder Paralleltest in sich eine hohe interne Konsistenz haben, aber das heißt nicht zwangsläufig, das auch beide Paralleltests hoch miteinander korrelieren.

Die Prophecy Formula erlaubt die Schätzung des Reliabilitätsanstiegs, der sich durch die (theoretische) Vervielfachung der Aufgabenmenge eines Testverfahrens ergibt. Deswegen findet die Formel sowohl bei der Testverlängerung Anwendung als auch bei der Berechnung der Testhälften-Reliabilität (da hier ein Test um den Faktor 2 „verlängert“ wird – nachdem er zuvor zu Vergleichsgründen in 2 Teile aufgeteilt wurde).

Denkbar sind z. B. Übertragungseffekte, Lerneffekte oder Testeffekte, die das Ergebnis bei der zweiten Testanwendung verzerren können und somit zu einer Überschätzung der Reliabilität führen könnten.

Die Definition eines Konstruktes über Position in einem theoretisch abgeleiteten Netzwerk aus konstruktnahen und –fernen Konstrukten.

Sie messen die unterschiedlichen Konstrukte Selbstwirksamkeit und Neurotizismus mittels Fragebögen.

Nun wollen Sie die __diskriminante____ Validität der Fragebögen im Rahmen einer MTMM-Analyse untersuchen. Sie

berechnen den ____heterotrait-monomethod-____ Koeffizienten. Dieser Koeffizient sollte niedrig ausfallen (nicht

Zutreffendes bitte streichen).

Sie rechnen eine Regressionsanalyse mit mehreren Prädiktoren. Dabei gibt Ihnen die Änderung in RQuadrat Hinweise auf die ____inkrementelle____ Validität. Welche Regressionsmethode (SPSS) benötigen Sie hierfür?

Schrittweise Regression

• Die Matheklausur umfasst alle gemäß Lehrplan relevanten Themen. (Inhaltsvalidität, curricular valide)

• Der Intelligenztest korreliert mit den Schulnoten. (Kriteriumsvalidität)

• Ein neuer Intelligenztest korreliert signifikant positiv mit bereits etablierten. (Konstruktvalidität)

Die Validität. Wenn ein Test nicht valide für ein Merkmal X ist (Bsp. Ein Intelligenztest misst nicht das Merkmal Intelligenz), dann kann der Versuchsperson keine valide Auskunft über ihrer wahren Merkmalsausprägung rückgemeldet werden, auch wenn der Test sehr objektiv und reliabel messen würde.

Eine hohe Augenscheinvalidität bedeutet, dass dem Testteilnehmer die Testinhalte sehr plausibel erscheinen für die jeweilige diagnostische Fragestellung; dies erhöht die Wahrscheinlichkeit, dass der Testteilnehmer den Test als solchen akzeptiert und ernst nimmt.

• Art des Messinstruments (Multitrait-multimethod)

• Beurteiler (Multitrait-multiinformant)

• Situation/Kontext (Multitrait-Multuoccasion)

• Konvergente Validität: Ausmaß, in dem zwei ähnliche Konstrukte miteinander korrelieren; gegeben bei hohen positiven Korrelationen → Bewertung konstruktnaher Testverfahren

• Diskriminante Validität: Ausmaß, in dem zwei unähnliche Konstrukte nicht miteinander korrelieren; Korrelation sollte möglichst niedrig ausfallen → Bewertung konstruktferner Testverfahren

Itemtrennschärfe, Itemschwierigkeit, Itemvarianz

Ordnen Sie die zwei Begriffe „Bodeneffekte“ und „Deckeneffekte“ den Lücken entsprechend zu.

• Bei einer linkssteilen und rechtsschiefen Verteilung würde man eher ____Bodeneffekte______ erwarten.

• Bei einer rechtssteilen und linksschiefen Verteilung würde man eher ____Deckeneffekte______ erwarten.

Die Schiefe einer Verteilung gibt einen deskriptiven Hinweis auf die Itemschwierigkeit. Je mehr die Verteilung der Itemantworten (z.B. bei Ratingskalen) bzgl. ihrer Schiefe von der Normalverteilung abweicht, desto leichter bzw. schwieriger ist das Item.

• Inangriffnahme-Korrektur

• Rate-/Zufalls-Korrektur

Nein. Die Trennschärfe ist ein deskriptiver Wert, dementsprechend gibt es keine feste Regel dafür, ab wann ein Item ausgeschlossen werden muss. Dass die Untergrenze 0,30 nicht unterschreiten soll, ist lediglich eine Konvention. Der Ausschluss eines Items ergibt sich aus simultaner Berücksichtigung der verschiedenen Itemkennwerte.

Bei der part-whole-Korrektur wird das Item, das einer Trennschärfenanalyse unterzogen wird, aus dem Gesamtskalenwert herausgerechnet, da die Korrelation zwischen Item und Skala sonst überschätzt würde. Diese Korrektur fällt besonders dann ins Gewicht, wenn die Skala aus wenigen, inhomogenen Items besteht.

1

Das Item misst entweder (systematisch) etwas, das mit dem Konstrukt, dass die Skala messen soll, in einem negativen Zusammenhang steht – oder es handelt sich um ein (noch nicht rekodiertes) invertiertes Item.

Es invertieren bzw. überprüfen, ob das Item ein invertiertes Item sein soll (und dies natürlich auch nur bei PS-Tests). Wenn nicht, Item ausschließen.

Trennscharfe Items können zwischen Probanden mit verschiedenen Merkmalsausprägungen gut unterscheiden; sie werden von ihnen anders und im Sinne des Merkmals beantwortet. Wenn keine ausreichende Varianz im Antwortverhalten gegeben ist, kann auch schlecht zwischen den verschiedenen ProbandInnen unterschieden werden, d. h. bei zu geringer Varianz in der Beantwortung der Items wird auch eine hohe Trennschärfe unwahrscheinlicher.

Es gibt keine feste Regel. Jeder Itemausschluss ist Ergebnis einer simultanen Analyse aller Itemkennwerte unter Zuhilfenahme entsprechender Konventionen und unter dem Gesichtspunkt der inhaltlichen Fragestellung.

Das Paradoxon besagt, dass bei geringerer Reliabilität der Einzeltests die Minderungskorrektur umso drastischer ausfällt. Nun ist es aber problematisch, bei zwei Testverfahren mit z. B. einer Reliabilität von 0.5 und 0.6 tatsächlich davon auszugehen, dass die minderungskorrigierte Korrelation 0.9 beträgt – schließlich messen die beiden Testverfahren jeweils für sich sehr ungenau, die Korrelation ihrer wahren Werte von 0.9 wäre nur dann ein sinnvoller Wert, wenn beide Merkmale, die mit den Tests erfasst werden, prinzipiell auch genau erfassbar wären.

Falsch. Es kann nur EINEN geben!!!

Das Konfidenzintervall gibt im Hinblick auf eine Intelligenzdiagnostik darüber Auskunft, ob ein bestimmter Testwert auch tatsächlich eine eindeutige Bewertung zulässt. Somit kann man einem Testteilnehmer der einen IQ von 135 erzielt dessen Konfidenzintervall doch auch den Bereich bis z. B. 122 abdeckt, nicht ohne Weiteres rückmelden, dass er hochbegabt ist (wenn man hierfür das Kriterium von IQ 130 > akzeptiert). Der wahre Wert des Testteilnehmers könnte im Bereich lediglich“ überdurchschnittlicher Intelligenz liegen.

Korrelationen über 1 sind nicht möglich. Die Obergrenzen der Korrelation sind durch die Reliabilität vorbestimmt.

Wenn es um die Messung von Extremwerten geht, also z. B. Werte, die mehr als 2 Standardabweichungen über dem MW liegen

• Inhaltsvalidität: …bezieht sich darauf, inwieweit die Inhalte eines Tests bzw. der Items, aus denen sichder Test zusammensetzt, tatsächlich das interessierende Konstrukt erfassen.

• Kriteriumsvalidität: …bezieht sich darauf, inwieweit vom Verhalten innerhalb der Testsituationerfolgreich auf ein „Kriterium“ bzw. auf ein Verhalten außerhalb der Testsituation geschlossen(extrapoliert) werden kann.

• Konstruktvalidität: …umfasst die empirischen Befunde und Argumente, mit denen die Zuverlässigkeitder Interpretation von Testergebnissen im Sinne erklärender Konzepte gestützt wird, die sowohl dieTestergebnisse selbst als auch die Zusammenhänge der Testwerte mit anderen Variablen erklären.(Messick, 1995)

Um so weiter links die Kurve angeordnet ist, desto

"leichter" ist das Item zu beantworten bzw. um so weniger

Merkmal wird benötigt. (gestrichelte Linien können

ignoriert werden)

Die Fläche der Histogrammsäulen bleiben unverändert. Lediglich die Höhe und somit auch die Breite der Säulen werden angepasst.

• Inhaltsanalyse durchführen

• Sichtung der Forschung

• Critical Incidents

• Direkte Beobachtungen

• Expert*innenurteile

• Zielanalyse

• Lernanalyse

Vorteile:

• verringerte Ratewahrscheinlichkeit verglichen mit dichotomen Aufgaben

• objektiv

• ökonomisch

• einfach durchzuführen

Nachteile:

• lediglich Rekognition

• Geschlechterdifferenzen bei Leistungstests möglich

1. Einsatz von Kontrollskalen

2. Anonymität betonen

3. Objektiven Persönlichkeitstests

• ipsative forced choice Aufgaben

• Über den Untersuchungsgegenstand aufklären

Schwieriges Item am Anfang: Proband fühlt sich eventuell überfordert

Schwieriges Item am Ende: Proband ist eventuell unkonzentrierter als am Anfang

Mithilfe von kognitiven Interviews können Items identifiziert werden, die den Konstruktionsansprüchen genügen bzw. noch nicht genügen.

a) 50

b) 25 bzw. 75

c) 2,5

Bei einer hohen Testwertdichte entsprechen kleine Merkmalsunterschiede einen großen PRUnterschied, bei einer kleinen Testwertdichte entsprechen große Merkmalsunterschiede kleinen PRUnterschiede.

a) 5+2z= 5+2*1,5=8

b) 100+15z=100+15*1,5=122,5

c) 500+100z=500+100*1,5=650

d) 50+10z=65

e) (x-MW)/SD=9/6=1,5

1. Hinreichende Größe

2. Aktualität

3. Repräsentativität

4. klare Zielpopulaionsdefinition

Hier sind Sensitivität und Spezifität von Bedeutung, da diese aufsummiert den Youden-Index ergeben, den wir zur Festlegung des Kriteriums heranziehen.

Für eine hohe Validität sollte man einen hohen Geltungsbereich wählen. Je höher der Geltungsbereich, desto breiter müssen auch die Fragen gestellt werden. Sofern dies nicht mit einer drastischen Testverlängerung eingeht, haben wir eine geringere Reliabilität.

1. Interne Konstruktion

2. Externale Konstruktion

3. Rationale Konstruktion

4. Intuitive Konstruktion (Tests & Beschreibung s. Folien)

Auch wenn die Skala von diskret gestuften Items intervallskaliert ist, können wir davon bei den einzelnen Items aufgrund mangelnder Äquidistanz zwischen den einzelnen Stufen nicht ausgehen.

Verständnis: Mehrdeutigkeit; Abruf: Stimmungsabhängigkeit; Urteil: globale Bewertung; Antwortwahl: Tendenz zur Mitte, Akquieszenz; Antwortgabe: Soz. Erwünschtheit

Bei der Regression sagen wir aus Prädiktoren ein Kriterium vorher und wollen die Varianzaufklärung im Kriterium bestimmen. Bei der EFA liegt kein UV/AV Design vor und das Ziel liegt z.B. in der Dimensionsreduktion anstatt Varianzaufklärung.

Fundamentaltheorem: Der beobachtete (standardisierte) Wert zvi einer Person v in Variable i lässt sich als gewichtete Summe von k = 1,...,q latenten Faktoren fk ausdrücken.

Obwohl wir einmal die aufgeklärte Varianz aus Itemperspektive und das andere mal aus Faktorenperspektive betrachten, ist natürlich die Gesamt aufgeklärte Varianz gleich.

• Kaiser-Guttman Kriterium: Alle Eigenwerte >1 werden extrahiert --> zu viele Faktoren Scree-Plot: Bis zum Knick im Eigenwerteverlauf --> Nicht immer eindeutig zu interpretieren

• Parallelanalyse: Alle Eigenwerte sig. >1 --> Königsweg

• Inhaltliche Überlegungen: Auf Basis inhaltlicher Gedanken --> Wiederspruch zu Daten

• A priori Varianzaufklärung: Extrahieren, bis a priori festgelegte Varianz erklärt ist --> zu viele; Begründung

Die Varianz der Faktorladungen soll maximiert werden, d.h. nur hohe Ladungen bzw. Ladungen nahe 0 sind wünschenswert. Dies erleichtert die Interpretation der Ladungen.

Standardprozedur (Situation und Verfahren) zur Gewinnung einer Verhaltensstichprobe in einem bestimmten Verhaltensbereich

Zuweisung eines numerischen Werts zu dieser Verhaltensstichprobe nach einer bestimmten Korrespondenzregel

Aufstellen der Korrespondenzregel 

1. Explizierung der Untersuchungshypothesen

2. Kontrolle der Untersuchungsbedingungen

3. Multimethodales Diagnostizieren (Verfahrenspluralismus)

4. Multivariate Datenerhebung

5. Dokumentation von: Untersuchungshypothesen, -durchführung und Ergebnissen

6. Explizierung der Entscheidungsregeln

7. Standardisierung des diagnostischen Prozesses

8. Professionalisieren der diagnostischen Kompetenzen

1. Schritt: Klärung und Präzisierung einer psychologischen Fragestellung

2. Schritt: Formulierung von Hypothesen

3. Schritt: Datengewinnung – Operationalisierung der Hypothesen, Planung, Durchführung

4. Schritt: Datenauswertung

5. Schritt: diagnostische Urteilsbildung

1) IRT ist nicht Stichprobenabhängig

2) IRT prüft empirisch welche Rückschlüsse vom Testwert auf den wahren Wert gemacht werden können

3) Itemhomogenität wird bei der IRT geprüft

4) prüft die unkorreliertheit der Messfehler

1PL-Modell: integriert den Parameter der Itemschwierigkeit in die Formel

2PL-Modell: zusätzlich noch Deskriminationsparameter

3PL-Modell: zusätzlich zu den 2 Parametern noch der Rateparameter

1PL: bei Modellkonformität

auch 1PL

2PL

3PL