Vorlesung 3

– Gegendtand der Testtheorie sind Leistungstests sowie Daten von Fragebögen, Beobachtungen und Interviews

– Es gibt: klassische Testtheorie (KTT) und probanilistische Testtheorie (PTT)

– KTT befasst sich mit den unterschiedlichen Bestandteilen von Messwerten (wahrer Wert und Messfehler)

– PTT beschäftigt sich mit der Frage wie das Testverhalten einer oder mehrerer Personen von einem zu erfassenden psychischen Merkmal abhängt

– Items = Indikatoren der latenten Varibale ( = Konstrukt)

– Items spiegeln die Variable wider ––> reflexiver Indikatoren

– Verändert sich die Ausprägung des Konstrukts, verändert sich auch die Ausprägung der Indikatoren (Items)

– Komstrukt ist ursächlich für Unterschiede in den Itemwantworten von Personen

– Keine weiteren Konstrukte, die Antwortverhalten beeinflussen (Eindimensionalität) –> Korrelationen zwischen den Items Reduzieren sich auf 0, wenn die latente Variable konstant gehalten. Wird

– Reflektibe Indikatoren zeichnen sich dadurch aus, dass sie gegeneinander austauschbar sind, da sie gleich repräsentativ für ein bestimmtes Konstrukt stehen. Die Indikatoren werden anhand dieses Kontrsuktes abgeleitet, weshalb sie bei unterschiedlicher Ausprägung miteinander korrelieren.

– Kundenzufriedneheit ––> Pries, Lieferung, Freundlichkeit, Kundenservice

– Für Personen mit gleicher Ausprägung der latenten Variable ergibt sich keine Korrelation zwischen den Items, die Teams sind voneinander unabhängig.

– Nur bei Anwendung an Personen mit dem unterschiedlicher Ausprägung der latenten Variable zeigt sich ein Zusammenhang.

– Bei Formativen Indikatoren hingegen, werden nicht die Items auf Basis des Konstrukt geformt, sondern das Konstruku auf Baisis der Vorhandenen Items. Dabei können die Items komplett unabhängig voneinander sein, da sie unterschiedliche Aspekte messen. Daher ist keine Korrelation der Items notwendig. Jedoch kommt es beim Weglassen oder Austauschen eines Items oft zu Formung eines neuen Konstrukts.

– Preis–Leistung, Umwfled, Ausstattung, Reaktionsfähigkeit ––> Zufriedenheit

– Items “formen” das Konsturkt, erklären es

– Indikatoren sind die Ursache für das Konstrukt, nicht umgekehrt

– Keine Eindimensionalität: Items messen unterschiedliche Aspekte ––> Index

– Keine Notwenigkeit zur Korrelation der Items (völlige Unkorreliertehit möglich) – Weglassen eines indexbestandteils führt zur Veränderung des Konsturkts

– Achtung: KTT nicht anwendbar, Reliabilitätsschätzungen unangemessen

Erreicht ein Proband ein vorab festgelegtes Kriterium?

– Z.B Führerscheintest, Klausur, etc.

– Unterschiede zwischen Personen sind nicht interessant

– Alle Personen können das Kriterium erreichen

– Oftmals sind items heterogen konstruiert.

––> Analyse auf Basis von Testtheorie und somit Itemanalyse in klassischer Form grundsätzlich daher nicht ohne weiteres möglich.

Schlussfolgerung:

1. Inhaltsvalide = Items müssen gebildet werden

   – D.h. Unterrichtshalte müssen abgedeckt sein

   – Ggf. Aufteilung von heterogen Grundmengen / homogene Teilmengen

2. Sachgerechtes Kriterium = muss gesetzt werden

   – Bedarf sachlicher Rechtfertigung (ist kein diagnostisches Problem)

   – Ggf. Einschaltunv von Experten, Bedeut7ng von gesellschaftlicher Relevanz, Bedeutsamkeit von Lernzielen, etc.

   – In der Regel nicht auf 100% gesetzt, da auch zufällig Irrtümer auftreten können

   ––> daher Beachtung von Irrtumswahrscheinlichkeit von 5–10%

– KTT beschäftigt sich mit Unterschieden zwischen Messungen und der Grundannahme, dass es zu Messfehlern kommt.

– Diese entstehen durch Zufallseinflüsse, welche zumeist normalerweise sind und sich über die Testdurchgänge ausmittigen sollten.

– Übungseffekte würden bewirken, dass der wahre Wert einerPersln sich verbessert, da sich die Ergebnisse nach jeder Testung verbessern würden, was gegen die KTT spricht.

– Zudem soll die KTT eine theoretische Begründung der Reliabilität eines Tests liefern, was voraussetzt, dass die Ergebnisse über verschiedene Testungen weitestgehend gleichbleiben.

– Gurndlage der meisten heute genutzten Testfehren

– Ist eine Reliabillitätstheorie, d.h. theoretische Begründung der Reliabilität

– Grundannahme: Testserte sind fehlerhaftet

Annahme:

Hypothetische Werteverteilung der kontinuierlichen Werte (X) und eine Person (v) in einem Test über unendliche viele Messungen

– Der “wahre Wert” (Tau) einer Person (v) ist definiert als der Mittelwert bzw. Erwartungswert über unendlich viele gedachte Messwiederholungen der beobachteten Werte (x).

– Tauv = E (Xv)

Es kann einen Unterschied zwischen wahrem Wert und dem aktuell gemessenen Wert geben ––> Mesfehker

Der Messfehler (Epsilon) einer Person (v) zu einem Zeitpunkt (t) setzt sich zusammen aus beobachteten Messwert (x) zum Zeitpunkt t und dem nicht wariierenden wahren Wert (Tau)

Epsilon vt = X vt – Tauv <–– Es wir als unsystematisch angenommen

Das Problem dabei:

– Übungseffekte

– Systematische Fehler

Folgerung 1

Die Varibaz der beobachteten werte (betrachtet bei einer Pereon) ist gleich der Varinaz der Messfheler dieser Person (Varinaz = Unterschiedlichkeit)

Folgerung 2

Jeder beobachtete Wert x einer Person v setzt sich zusammen aus einem wahren Wert Tau der Person und einem Fehlerwert Epsilon.

= Xvt = Tauv + Epsilonvt

Jeder Messwert ist fehlerhafter und umfasst neben

– Dem wahren Testwert, so wie er mit dem Test erfasst werden soll

– Unsystematische Einflüsse, die das Testergebnis verunreinigen

Folge = In einer Messung sind wahrer Wert und Fehlerwert nicht einzeln zu identifizieren!

Folgerung 3

Der Erwartungswert des Messfehlers ist null.

– Für jede Person v stellt der Fehlerwert Epsilonvt eine zufallsverteilte Varibale dar, die um 0 schwankt.

E(Ev) = 0

Messfehler Mitteln sich aus. Es muss immer eine Normalverteilung sein.

Folgerung 4

Die Messfehler sind unabhängig vom wahren Wert. Der Trst misst in allen Merkmalsbereichen gleich genau Corr (Evt, Tv) = 0

Folgerung 5

Die Varinaz aller beobachteten Werte (betrachtet über alle Personen) setzt sich additiv zusammen aus der Varinaz der wahren Werte der Personen und der Fehlervati an der Personen.

Folgerung 6

Die Messfehler in einem Test A sind unabhängig von den wahren Werten in einem anderen Test B. Messfehler von einem IA Test können z. B. nicht mit der Motivation von Test B z usammenhämgen.

Zusatzannahme:

Die Messfehler zweiter Tests A und B sind unkorreliert. Können als nicht mit anderen Tets Zusammenhängen.

Die Messfehler sind unabhängig vom wahren Wert: das bedeutet, dass der Test in allen Mer)malsberekcben gleich genau misst.

Die Messfehler zweiter Tests A und B sind unkorreliert: das bedeutet, dass Korrelationen zwischen den Tets auf Zusammenhängen zwischen den wahren Werten basieren und inhaltlich interpretiert werden können.

1. Mehrfaches (unendliches?) messen

2. Messfehler minimieren

3. Eindimensionale Items

4. Reliabilitätsabschätzung möglich

• Ist eine reine Messfehlertheorie, beschäftigt sich nur mit Kompontenten eines beobachteten Messwerd. Zwischen untersuchten Merkmal und Itembeantwortung keine Beziehung hergestellt.

• Nicht erkannte Mehrdimensionalität: Eindimensionalität von Konstrukten ist entscheidend, jedoch in der KTT nicht überprüft. Eigentlich Überprüfung mittels CFA.

• Einige Annahmen nicht überprüfbar, ergeben sich nur logisch aus grundsätzlichen Festlegungen. In Praxis sind manche Modellannahmen nur schwer haltbar:

A) z.B rein zufällige, unsystematische Einflüsse auf das Testergebnis

B) Annahme einer Nullkorrrlation zwischen Fehlern und wahrem Wert einer Person sind oft psychologisch unplausibel, z.B. Neurotizismus

• Geht davon aus, dass es invarianten wahren Wert einer Person hinsichtlich eines bestimmten Persönlichkeitsmerkmals gibt, z. B. Intelligenz

• Veränderungsmessung kann nicht sinnvoll abgebildet werden

• Stichprobenabhängigkeit von Reliabilität, Itemsschwierigkeit und Itemtrennschärfe wird in der KTT nicht oder nur Ungenügen beachtet –> Konsequenz: gute pre–Test–Stichproben sind in der Testentwicklung essenziell

• Theorie nur für intervallsakalierte Items, nicht jedoch für dichotomische Items oder nicht intervallskalierte Ratingskalen oder Einschränkung anwendbar

• Bewärhung in der Praxis

  • Sie erlauben die differenzierte und objektive sowie Reliabilität Beschriebung von intra– und interindividuellen Unterschieden

  • Sie können Verhaltensanspekte Vorhersagen

• Inhaltkich begründete Konstruktionen der Items und Skalen überdeckt Schwächen der testtheoretischen Annahme

––> entscheidend ist hier das sachgemäße Vorgehen

– Mehrdimensionalität der Konstrukte wird nicht erkennt

– Manche Annahmen der KTT sind in der Praxis nicht annehmbar, z.B dass es nur unsystematische Einflüsse auf das Ergebnis gibt, oder dass Messfhelef und der wahre Wert nicht miteinander korrelieren / Neurotizismus)

– Veränderungsmessung spricht gegen die KTT

– Dass die Stichprobe von Reliabilitö, Itemschwierigkeit und Itemtrennschärfe abhängt wird nicht betrachtet

– KTT nur für Intervallskalierte Items anwendbar

– Intra– und individuelle Unterschiede können beschrieben werden

– Verhaltensaspekte können vorhergesagt werden

– Konstruktionen der Items und Sklaen werden ausreichend begründet, sodass die Nachteile weniger Gewicht haben

– Auf der Basis der Axiome sind die drei Klassichen Gütekritefien psychodiagnostischer Verfahren definierbar: Reliabilität, Validität und Objektivität

– Zur Verbesserung von Relibalität und Validität ist eine Itemanalyse erforderlich

– Durch die Bestimmung der Realiabilität wird es möglich, die wahre Ausprägung des Merkmals sowie die Varianz des Messfehlers zu schätzen

• Der Fehlerwert beinhaltet (ausschließlich nur) alle unsystematischen Einflüsse auf den beobachteten Wert, z.B. aus

  • Konstruktions (z.B. Mehrdeutigkeit von Items)

  • Durchführung (z.B. Testsituation, Testperson, Testleister)

  • Auswertung (z.B. Interpretation, Ergebnisübertragung)

—> Messfehler: Alles das, was das Testverhalten beeinflusst ohne in gleicher Form bei der Testperson erneut wieder so auftreten wird.

• Für die Anwenung der KTT ist es nicht erforderlich zu wissen, welche Arten von Messfehlern im Einzelnen wirken.

“Beachte: systematische Einflüsse können durchaus in der Realität vorkommen, können jedoch in der KTT nicht verarbeitet werden!

—> siehe auch Erläuterung zu “was passiert bei systematischen Verzerrungen?” Und “Was passiert bei Zulassen von Übungseffekten?”