02 Konstruktdefinition

• Das Erstellen einer Arbeits-definition des Konstrukts

• und wird dennoch häufig vernachlässigt

Das ABC der Testkonstruktion nach Ziegler 2014 ist ein Rahmenmodell für die Testentwicklung und Test-evaluation.

A)= Welches Konstrukt wird gemessen?

B)= Zu welchem Zweck?

C)= Bei wem?

A) Welches Konstrukt wird gemessen?

• Prinzipen des nomologischen Netzes

1. Scientifically speaking, to «make clear what something is»

means to set forth the laws in which it occurs. We shall refer to

the interlocking system of laws which constitute a theory as a

nomological network.

2. The laws in a nomological network may relate: (a) observable

properties or quantities to each other; or (b) theoretical

constructs to observables; or (c) different theoretical constructs to one another. These «laws» may be statistical or deterministic.

Cronbach & Meehl (1955) doi.org/10.1037/h0040957

Übersetzung der Zitate von Cronbach & Meehl (1955):

1. Wissenschaftlich gesprochen bedeutet “klarzumachen”, was etwas ist, dass man die Gesetzmässigkeiten darlegt, in denen es auftritt. Wir bezeichnen das miteinander verbundene system von gesetzmässigkeiten, das eine theorie ausmacht, als nomologisches netz.

2. die gesetzmässigkeiten in einem nomologischen netz können sich beziehen auf:

   a)beobachtbare eigenschaften oder größen in relation zueinander

   b)theoretische konstrukte in relation zu beobachtbarem oder

   c) verschiedene theoretische konstrukte zueinander

diese gesetze können statistischer oder deterministischer natur sein.

In eigenen Worten: Ein konstrukt ist dann klar definiert, wenn man zeigt, in welchen Gesetzmässigkeiten es auftritt- also wie es mit anderen Dingen zusammenhängt. diese zusammenhänge nennt man nomologisches netz.

Es kann beziehungen geben: zwischen beobachtbaren dingen

zwischen theorie und beobachtung

oder zwischen verschiedenen theorien

andere erklärung in eigenen worten: was meinen cronbach und meehl mit dem nomologischen netz? wenn wir in der psychologie sagen wollen, was ein konstrukt ist, dann müssen wir zeigen:

wie hängt es mit anderen dingen zusammen?

wann tritt es auf?

wie kann man es erkennen?

das nomologische netz ist sozusagen ein beziehungsnetz , in dem das konstrukt eingebettet ist.

zb nehmen wir das konstrukt stress. stress zeigt sich zum beispiel in schweiss, zittern , nervosität. das ist die verbindung zu beobachtbarem verhalten.

stress hängt oft mit angst oder überforderung zusammen. das ist die verbindung zu anderen konstrukten.

menschen mit stress haben manchmal schlafprobleme , das ist der einfluss auf andere messbare dinge.

nur wenn wir diese ganzen verbindungen darstellen können, können wir wikrlich sagen , was ein konstrukt ist. denn wir können stress ja nicht direkt “sehen” aber wir können erkennen, wie er wirkt, was er beeinflusst, womit er zusammenhängt. und genau das nennt man nomologisches netz- ein netz von bedeutungen, zusammenhängen und wirkungen,.,

• Welche Verhaltensweisen indizieren das Konstrukt?

  —>Inhaltsvalidität

  (Das meint: woran erkenne ich das konstrukt im verhalten einer person ? bsp: wenn du aggression messen willst, sind es beschimpfungen, schlagen, feindseligkeit? das nennt man inhaltsvalidität: decken de testinhalte wirklich das konstrukt ab? Inhaltsvalidität bedeutet, dass ein test oder fragebogen alle wichtigen aspekte eines konstrukts vollständig und angemessen abdeckt. misst der test also wirklich das, was er messen soll, und nichts anderes? zb ein Test zur mathekompetenz sollte aufgaben zu rechnen, geometrie, textaufgaben usw erhalten, NICHT zu lesekompetenz der allgemeinwissen, nur dann hat er eine Hohe inhaltsvalidität).

  
  

• Beziehungen des zu messenden Konstrukts mit mehr und weniger verwandten Konstrukten? ➜ konvergente/diskriminante Validität

  (Wie hängt das Konstrukt mit anderen Konstrukten zusammen? Gibt es starke Zusammenhänge mit ähnlichen Konstrukten (zb depression und Traurigkeit) ? und geringe zusammenhänge mit unähnlichen (zb depression und mathekenntnissen?) das nennt man kovergente und diskriminante validität. Konvergente validität= das konstrukt hängt stark mit ähnlichen konstrukten zusammen. Bsp: ein intelligenztest korreliert hoch mit bestehenden Intelligenztests. das zeigt, dass er wirklich intelligenz misst.

  Diskriminante validität= das konstrukt unterscheidet sich klar von anderen, unähnlichen konstrukten. Bsp: ein test für angst darf NICHT stark mit einem test für selbstbewusstsein korrelieren. sonst misst er vielleicht etwas anderes).

• (korrelieren= zwei dinge verändern sich gemeinsam, also sie hängen statistisch zusammen. zb wenn menschen die viel lernen auch gute noten bekommen: lernen und noten korrelieren positiv ).

• Was ist die Struktur (Dimensionalität) des Konstrukts? ➜ faktorielle Validität

  (Was ist die Struktur des konstrukts (Dimensionalität)? ist das konstrukt eindimensional oder mehrdimensional? zb: besteht intelligenz nur aus logischem denken oder auch aus sprachfähigkeit, kreativität usw? das prüft man mit faktorieller validität also mit verfahren wie der faktorenanalyse).

• Welche Kriterien kann ich mit dem Konstrukt erklären bzw. prädizieren? ➜ Kriteriumsvalidität

  (Was kann das konstrukt vorhersagen oder erklären? zb: Kann “stress” den krankheitsstand vorhersagen? oder “motivation” den studienerfolg? das ist kriteriumsvalidität. Kriteriumsvalidität= wie gut sagt der test ein relevantes kriterium zb leistung, verhalten , erfolg voraus? ein eignungstest für piloten hat ub hohe kriteriumsvalidität, wenn die punktzahl im test mit dem späteren flugerfolg zusammenhängt).

fazit der folie: ➜ Wir machen Annahmen über das zu messende Konstrukt

➜ Was ist es, was ist es nicht?

B) = Zu welchem Zweck?

• Einzelfall- vs. Gruppendiagnostik

• Status- vs. Prozessdiagnostik

• spezielle Erhebungskontexte: z.B. Eignungsdiagnostik, Studierendenauswahl

➜ Gütekriterien, Itemauswahl (z.B. Itemschwierigkeit, Differenzierung) etc.

C)=Bei wem?

• Erwachsene, Jugendliche, Kinder (Bsp. Aggressionstest für Kinder vs. Erwachsene)

• klinische vs. nicht-klinische Testpersonen

• spezielle Populationen: Senioren, mittleres Management, etc.

➜ Konstruktions- und Normierungsstichprobe, Itemformulierung und Itemauswahl

(Konstruktionsstichprobe= Das ist die gruppe von personen, mit der ein test entwickelt wird. zb: 500 schüler machen den ersten entwurf eines konzentrationstests. ihre antworten helfen, die besten items auszuwählen)

(Normierungsstichprobe= das ist die gruppe von personen , mit deren daten vergleichswerte (normen) berechnet werden. bsp: aus den testergebnissen von 1000 jugendlichen berechnet man, was “durchschnittlich” oder “überdurchschnittlich” ist.

weitere Frage vor Beginn der

Testkonstruktion:

• Benötigt man überhaupt einen

„neuen” Test?

- Web

- Datenbanken (z.B. ZIS)

- Testverzeichnisse (z.B. ZPID)

- Bücher mit Tests/Rezensionen

wenn bereits ähnlicher Test

vorhanden:

• Entscheidung: Neuentwicklung

➜ gute Begründung nötig

• Verwendung des verfügbaren Tests

• Ziele:

- Identifikation von Konstruktindikatoren (=dh herausfinden, woran man ein bestimmtes konstrukt erkennt. ein konstrukt ist etwas, das man nicht direkt beobachten kann (zb motivation, angst , kreativität, deshalb sucht man merkmale oder verhaltensweisen, die typisch für dieses kosntrukt sind- das nennt man indikatoren) zb konstrukt: prüfungsangst, indikatoren: herzklopfen, blackout. diese indikatoren braucht man, um einen test oder fragebogen zb zu bauen, der das konstrukt tatsächlich misst). (Und man kann angst oder motivation schon irgendwie beobachten aber nicht direkt. der unterschied its: beobachten kann man nur das verhalten das auf angst oder motivation hinweist. zb : jemand zittert, vermeidet augenkontakt—>könte auf angst hindeuten. jemand arbeitet freiweillig länger, bringt eigene ideen, könnte auf motivation hindeuten. aber: die angst oder motivation an sich steckt “im kopf” und ist nicht direkt sichtbar. deshlab gelten sie als latente konstrukte (latente variablen) also unsichtbare psychologische merkmale, die man nur indirekt erschließen kann, über indikatoren)

- Identifikation von Überlappungsbereichen zu anderen Konstrukten und Unterschieden

➜ „Was ist es? Was ist es nicht?“

• Methoden:

- Erfahrungsgeleitet-intuitive Methode

(Experten/Fachleute UND Personen aus der Zielgruppe bringen ihre Erfahrung ein , um das konstrukt und passende Verhaltensindikatoren zu definieren.

+praxisnah, akzeptanzfördernd

-abhängig von qualität des wissens )

- Literaturrecherche

(Definitionen und merkmale des konstrukts werden aus der fachliteratur gesammelt. (zb bücher, artikel , tests)

+theoretisch fundiert

-nur sinnvoll, wenn genug literatur vorhanden ist)

- (Arbeits)analytisch-empirische Methode

(beobachtung oder befragung realer situationen (zb am arbeitsplatz) , um typisches verhalten zu erfassen.

+hilfreich bei neuen oder schlecht erforschten konstrukten

-aufwendig )

- Personenbezogen-empirische Methode

(statistische analyse von zusammenhängen mit anderen konstrukten oder kriterien (zb aus metaanalysen).

+gut bei vorhandenen daten

-nur sinnvoll, wenn schon gute messverfahren existieren)

– Frage: Ist das Messziel/Konstrukt weitgehend bekannt oder nicht?

• Top-down: Erfahrungsgeleitet-intuitiver Ansatz, Literaturrecherche,

Personenbezogen-empirischer Ansatz

• Bottom-up: (Arbeits)analytisch-empirischer Ansatz

• Kombination aus Top-down und Bottom-up ebenfalls möglich

Bei der erfahrungsgeleitet-intuitiven Methode wird auf Basis von

Expertenwissen definiert, was in einem diagnostischen Verfahren gemessen werden soll

Grundgedanke: Personen, die detailliertes Wissen über das zu

erfassende Konstrukt haben, nehmen Eingrenzung vor und benennen Indikatoren

• Expertinnen und Experten aus Academia oder der Berufspraxis

• Auch Laien können Expertise haben ➜ Einbindung der Zielgruppe, um Akzeptanz des Tests zu erhöhen

Umsetzung: Workshops, schriftliche Befragung, Interviews

Nachteil: Resultate hängen von der Qualität des Expertenwissens ab

Ziel: Identifikation von Konstruktindikatoren und Definitionen aus der Fachliteratur

Lehrbücher

Überblicksartikel (reviews)

Literatursuchmaschinen: PsycInfo, Psyndex, Web of Science,

GoogleScholar

Bereits existierende Testverfahren:

• Wie erfolgt dort die Eingrenzung?

• Von welchen Konstrukten erfolgt eine Abgrenzung?

➜ Sammeln und Systematisieren wiederkehrender Definitions-

merkmale des Konstrukts

In eigenen worten:

Man beobachtet oder befragt menschen in bestimmten situationen und sammelt ihr verhalten. das passiert mit systematischen methoden (zb fragebögen, beobachtungsbögen). so findet man heraus: welche verhaltensweisen zeigen personen, wenn das konstrukt ub stress , teamfähigkeit gefragt ist?

(Was ist die Critical incident technique (CIT):

Die Critical - incident -technik ist eine methode, um herauszufinden, welche verhaltensweisen wichtig für ein bestimmtes konstrukt sind- vor allem, wenn man das konstrukt noch nicht genau kennt.

wie funktioniert sie? 1. man sammelt berichte über besonders wichtige (“kritische”) situationen zb situationen, in denen jemand besonders erfolgreich oder besonders schlecht gehandelt hat.

2.man fragt personen die dabei waren (sogenannte expertinnen) zb vorgesetzte, kollegen, oder die person selbst: was genau wurde in dieser situation getan? man interessiert sich also für konkretes verhalten, nicht für meinungen.

1. man analysiert die beschriebenen verhaltensweisen zb sorgfältig gearbeitet, schnell reagiert und bündelt ähnliche verhaltensweisen zu gruppen (clustern)

2. dann schaut man: welche eigenschaften stecken dahinter? zb sorgfältig gearbeitet könnte auf gewissenhaftigkeit hinweisen. so kommt man zur konstruktdefinition.

zb: du willst herausfinden was gute pflegekräfte ausmacht. du fragst erfahrene plegende: erzähl mir von einer situation , in der jemand richtig gut gehandelt hat- was hat die person konkret gemacht? dann sammelst du solche beispiele , vergleichst das verhalten und schließt darauf, welche fähigkeiten oder eigenschaften wichtig sind. (zb einfühlungsvermögen)

die technik hilft , ein konstrukt aus der praxis heraus zu definieren. besonders nützlich , wenn man noch wenig theorie oder forschung dazu hat.

schau dir das schaubild an auf dem foto

Grundidee: Empirisch gefundene Zusammenhänge zwischen dem zu messenden Konstrukt und anderen Konstrukten und Kriterien nutzen

➜ Daraus auf zugrunde liegende Verhaltensindikatoren bzw. auf die Struktur des nomologischen Netzes schließen

Empirische Befunde werden z.B. aus Metanalysen entnommen (z.B. intelligenz und Berufserfolg: Schmidt & Hunter, 1998)

➜ Konstruktüberlappungen werden leichter aufgedeckt

Nachteil: Methode nur sinnvoll, wenn schon verlässliche Verfahren zur Erfassung des Konstrukts vorliegen

➜ Neuentwicklung dann wirklich sinnvoll?

(Man nutzt also bestehende daten, um herauszufinden, wie das konstrukt mit anderen konstrukten oder ergebnissen (kriterien) zusammenhängt. beispiel: wie stark hängt intelligenz mit berufserfolg zusammen? man kann daraus ableiten, welche verhaltensweisen oder eigenschaften zum konstrukt gehören. man erkennt, wie es ins nomologische netzt passt. man entdeckt leichter, wo es überschneidungen mit anderen konstrukten gibt. die daten kommen zum beispiel aus metaanalysen also studien, die viele anderen studien zusammenfassen. nachteil: die methode funktioniert nur, wenn es schon gute tests für das konstrukt gibt. sonst ist die neuentwicklung fraglich). )

in eigenen worten:

man fasst die ergebnisse aus allen vorherigen methoden zusammen- zb in einer grafischen übersicht. alle gefundenen indikatoren werden dem konstrukt (zb angstsensitivität) oder verwandten konstrukten zugeordnet.

dann legt man fest: wo genau im nomologischen netz liegt dieses konstrukt? zb zwischen panikstörung , PTBS)

die arbeitsdefinition wird so klarer und inhaltlich sehr gut abgesichert (hohe inhaltsvalidität).

(indikatoren= beobachtbare merkmale oder verhaltensweisen, die auf ein konstrukt hinweisen. zb zittern oder vermeidung bei angst—>das sind indikatoren für angst)

nomologisches netz= ein netz aus bedeutungen und zusammenhängen, das zeigt: wie hängt das konstrukt mit anderen kosntrukten und beobachtungen zusammen? beispiel: angst steht im nomologischen netzt vielleicht nahe bei panikstörung und neurotizismus aber weiter weg von kreativität .

Die vier Methoden erlauben es ...

• relevante Konstruktindikatoren zu identifizieren,

• das nomologische Netz des Konstrukts zu elaborieren und

• das Konstrukt im nomologischen Netz zu verorten

auf dieser Grundlage sollte sich eine möglichst verhaltensnahe

Arbeitsdefinition erstellen lassen

das nomologische Netz ist damit definiert

➜ ABC der Testkonstruktion: „A) Was wird gemessen?“

➜ Grundlage für Validierungsstrategie