2. Konstruktdefinition

Erstellen einer Arbeits-definition des

Konstrukts:

• Einer der wichtigsten Schritte in der

Testkonstruktion!

• dennoch häufig vernachlässigt

ABC der Testkonstruktion (Ziegler,

2014)

• Rahmenmodell für Testentwicklung

und Test-evaluation

A) Welches Konstrukt wird

gemessen?

B) Zu welchem Zweck?

C) Bei wem?

erklärung ABS der Testkonstruktion:

(bereich a) liegt ganz klar in der rein theoretischen definition des konstrukts nämlich welches konstrukt wird gemessen.)

(B) hat mit der kriteriumsvalidität zu tun , wozu messe ich dieses konstrukt, was will ich denn damit dann vorhersagen, was will ich mit einem möglichen ergebnis machen. )

c) beim wem möchte ich diese messung durchführen? das ist wichtig weil: der erlebens und erfahrungshorizont sich unterscheidet wenn ich zum beispiel etwas bei einem 6.jährigen kind messe im gegensatz zu einem 80.. jährigen menschen der vlt dann schon nicht mehr alleine leben kann.)

A) Welches Konstrukt wird gemessen?

• Prinzipen des nomologischen Netzes

1. Scientifically speaking, to «make clear what something is»

means to set forth the laws in which it occurs. We shall refer to

the interlocking system of laws which constitute a theory as a

nomological network.

2. The laws in a nomological network may relate: (a) observable

properties or quantities to each other; or (b) theoretical

constructs to observables; or (c) different theoretical constructs to one another. These «laws» may be statistical or deterministic.

Cronbach & Meehl (1955) doi.org/10.1037/h0040957

(die frage nachdem was gemessen wird, ist die frage nach dem messgegenstand. der messgegenstand in der psychologie ist ja immer diese latente variable , dieses latente konstrukt. wir haben aber ja keinen messgegenstand in der psychologie den wir direkt sehen können deswegen müssen wir uns ja sogenannte proxis also spiegelende oder variablen die oder verhaltensweisen die dieses konstrukt wiedergeben oder widerspiegeln an dieses konstrukt annähern. dh wir brauchen eine definition dieses konstrukts bevor wir es messen können. wenn ich zb intelleginz messen will definiere ich durch die messung was intelligenz ist. weil wenn ich jetzt sage was ist zwei plus zwei und dann erwarte ich die antwort 4. dieses item definiert dann letzlich was intelligenz ist nämlich die adition von zwei zahlen. in der Psychologie nennen wir diese definition das sogenannte nomologische netz. das nomologische netzt ist die landkarte des konstrukts. und die definition erhalte ich darüber das ich jeweils einen oder mehrere sogenannte marker items oder prototypische items für jede facette , für jeden teil in dem konstrutkt finde aber auch sehr prototypische oder extrem relevante items für das was außerhalb steht finde. ) das nomologische netz dient durch die innengrenze und die außengrenze (wenn man an die gestaltpsychologie denkt) eine silouette entstehen zu lassen aber eben auch eine struktur , eine mamonierung entstehen zu lassen die mir hilft zu erkennen was etwas ist.) und was wir tun müssen in der definition ist zu erkennen wann sich etwas zeigt, psychologisch eigenschaften zeigen sich nicht immer im gleichen maße bzw. nicht immer in allen momenten sondern sie zeigen sich nur manchmal zb ängstlichkeit.) man hat nicht immer angst. , nur in bestimmten situationen. und deswegen ist die definition eines konstrukts in der psychologie ganz eng damit verknüpft das ich sag, wann es passiert.)

(in der definition des nomologischen netztes sagt cronbach:

“set forth the laws in which it occurs” = dh wir müssen ganz klar festlegen wann dieses ding was ich den messen möchte auftritt. dh für eine gute definition muss ich sagen was es ist , in dem ich sage wann es passiert , was den die antezedenzien, was die konsequenzen sind, was den ähnlich sein könnte, was es aber nicht ist, was allternativ passieren könnte etc).

-also wir haben in der definition diese aspekte (def nomologisches netz): wir haben die aspekte das wir untersuchen müssen gibt es eine innenstruktur, also gibt es facetten oder gibt es diese nicht, diese innenstruktur ist eben diese faktorielle validität , die außenstruktur ist die konvergente diskriminante validität und beziehung was denn die konsequenzen sind aber auch was denn die antezendizien sind , hat was mit der kriteriumsvalidität zu tun. was folgt daraus?

also der erste schritt wenn ich einen neuen test konstruieren möchte / etwas neues messen möchte : ist die frage was mein ding / konstrukt ist , wie sich dieses ding manifestiert, und wann es sich manifiestiert und wann es sich nicht manifestiert ,und womit ich es verwechseln könnte. )

Welches Konstrukt wird gemessen? ➜ Elaboration des nomologischen Netzes

• Welche Verhaltensweisen indizieren das Konstrukt? ➜ Inhaltsvalidität

• Beziehungen des zu messenden Konstrukts mit mehr und weniger verwandten

Konstrukten? ➜ konvergente/diskriminante Validität

• Was ist die Struktur (Dimensionalität) des Konstrukts? ➜ faktorielle Validität

• Welche Kriterien kann ich mit dem Konstrukt erklären bzw. prädizieren? ➜

Kriteriumsvalidität

➜ Wir machen Annahmen über das zu messende Konstrukt

➜ Was ist es, was ist es nicht?

Zu welchem Zweck?

• Einzelfall- vs. Gruppendiagnostik

• Status- vs. Prozessdiagnostik

• spezielle Erhebungskontexte: z.B. Eignungsdiagnostik, Studierendenauswahl

➜ Gütekriterien, Itemauswahl (z.B. Itemschwierigkeit, Differenzierung) etc.

C) Bei wem?

• Erwachsene, Jugendliche, Kinder (Bsp. Aggressionstest für Kinder vs. Erwachsene)

• klinische vs. nicht-klinische Testpersonen

• spezielle Populationen: Senioren, mittleres Management, etc.

➜ Konstruktions- und Normierungsstichprobe, Itemformulierung und Itemauswahl

(=zu welchem zweck? geht es um einzelfall oder gruppendiagnostik? das hat bisschen was mit dem aufbau zutun , muss ich damit sorgen das jemand bei den anderen abguckt oder nicht, vorallem problematisch eher bei leistungstests oder wenn andere gestört wenn da jemand gleichzeitig etwas ausfüllt.) status oder prozessdiagnostik da gehts darum wie haltbar muss denn mein testergebniss sein , messe ich etwas was ne stabilität hat zb intelligenz oder messe ich etwas was eine flüchtigkeit hat zb stimmung oder emotionaler status. und natürlich kann der zweck auch dadurch beeinflusst werden was denn mein ziel ist also will ich zb schauen wer eignet sich für eine stelle / studium oder will ich sagen welches unternehmen eignet sich für diesen kanditaten. das wär dann zb selektion.) beim wem “ hat den einfluss darauf wie meine items formuliert werden, dürfen sie sprachlich sein, dürfen sie nicht schriftlich sein wenn es zb kinder sind die noch nicht lesen können oder personen sind die diese sprache nicht kennen oder die nicht mehr sehen können. geht es um klinsche ausprägung , geht es um nicht klinische personen und ist es so das ich eine abgeschlossene sehr enge kleine population habe oder habe ich eine sehr breite population. zb erstelle ich für ein mittleres unternehmen einen fragebogen von 150 leuten oder will ich das wir gesamt deutschland mit über 18 millionen erreichen und den fragebogen stellen , das hat einen einfluss darauf welche items ich wähle dh welche verhatensweisen ich abbilde , abfrage und auch wie breit das verfahren ist.)

(ABC der testkonstruktion im hintergrund haben wenn wir überhaupt tests konstruieren, und evaluiren.

(die wertigkeit eines kennwertes ergibt sich daraus wie eigenständig oder einzigartig der kennwert ist, den man von einem verfahren bekommt. die einzigartigkeit eines solchen kennwertes erkennt man einerseits an der divergenten validität dh wie sehr unterscheidet sich das gemessene konstrukt von anderen konstrukten , damit habe ich in der landkarte der psychologischen konstrukte die außengrenzen definiert, also hinsichtlich des nomologischen netztes die angrenzenden konstrukte definiert. das ist der eine wichtige aspekt der die wertigkeit angibt. auf der anderen seite, wenn die wertigkeit etabliert ist dass es sich um ein eigenständiges konstrukt handelt kann man auch sagen : wie viele aspekte kann ich denn aus meinem verfahren raussziehn, dh wie viele inner einzelteile kann ich den verwenden um eine vorhersage zu machen oder eine erklärung zu finden. und das ist dann die innen struktur oder die faktorielle validität des konstrukts. ) das ziel ergibt sich aus dem ihnalt und dem kriterium.)

Benötigt man überhaupt einen

„neuen” Test? kann man dann nachschauen durch:

- Web

- Datenbanken (z.B. ZIS)

- Testverzeichnisse (z.B. ZPID)

- Bücher mit Tests/Rezensionen

• Wenn bereits ähnlicher Test

vorhanden:

• Entscheidung: Neuentwicklung

➜ gute Begründung nötig

• Verwendung des verfügbaren Tests

Ziele

- Identifikation von Konstruktindikatoren

- Identifikation von Überlappungsbereichen zu anderen Konstrukten und

Unterschieden

➜ „Was ist es? Was ist es nicht?“

• Methoden

- Erfahrungsgeleitet-intuitive Methode

- Literaturrecherche

- (Arbeits)analytisch-empirische Methode

- Personenbezogen-empirische Methode

(1. wie viele verfahren gibt es denn die diese eiegnschaft abfragen. dann diese einzelnen verfahren erstmal anschauen. ) hier in der testkonstruktion ist es dann sinnvoll zu wissen welche verfahren es schon gibt, weil man anhand dieser verfahren lernen kann wie denn die definition des konstrukts gemacht worden ist und welche items denn diese autoren/-innen verwendet haben. das heißt es gibt einem konstruktionshinweise. die muss man nicht übernehmen, können auch flasch sein, können auch gegen die eigene überzeugung sein aber es hilft zumindest zu wissen was haben andere gemacht. )

(1. schritt den wir überhaupt machen müssen ist ja die konstruktdefinition. was bedeutet konstruktdefinition? konstruktdefinition hat mehrere ebenen. sie dient letzlich dazu so klar zu benennen was wir erheben wollen , das die nutzer/-innen und auch die wissenschaftler/-innen entscheiden können ob dieses verfahren einerseits geeeignet ist bzw oder andererseits ob dieses verfahren auch den ansprüchen die diese nutzer/-innen haben genügt. )

also ziele von einer konstruktdefinition ist einem die definition selber und das zweite ziel ist das finden der konstruktindikatoren. das ziel ist das aufffinden der best möglichen items für die anwisierte stichprobe. dh ich will konstruktidikatoren finden. = konstrukt ist immer eine latente variable

dh etwas was verborgen ist was ich nicht direkt messen kann. was die ursache für bestimmte verhaltensweise ist.

und die indikatoren für dieses konstrukt sind eben diese verhaltensweisen. dh wenn ich gerne mit menschen spreche dann deutet mein verhalten darauf hin das ich extraverhiert bin. deswegen sprechen wir von konstruktindikatoren. und diese konstruktindikatoren sind immer manifest also beobachtbar, wenn wir von echten konstruktindikatoren sprechen können. also verhaltensweisen die meine innere ausprägung , meine verborgene ausprägung widerspiegeln , dann sprechen wir von sogenannten reflexiven indikatoren. reflexiv weil sie spiegeln die ausprägung meiner inneren eigenschaft wieder. das ziel von so einer konstruktdefintion ist das ich diese wiederspiegelnden verhaltensweisen , diese wiederspiegelnden denkweisen auffinde. auffinden heißt ich kann sie in meiner stichprobe vorlegen und meine stichprobe kann sich mit diesen verhaltensweisen identifizieren.

1. (ziel “ was ist es und was ist es nicht? also die definition eines merkmals lebt genauso von dem was es ist und was es nicht ist. ) häufiger ist es sogar so, dass dieses was es nicht ist uns eher hilft zu bestimmen was ein konstrukt darstellt. )

Methoden

- Erfahrungsgeleitet-intuitive Methode

- Literaturrecherche

- (Arbeits)analytisch-empirische Methode

- Personenbezogen-empirische Methode

Top-down: Erfahrungsgeleitet-intuitiver Ansatz, Literaturrecherche,

Personenbezogen-empirischer Ansatz

• Bottom-up: (Arbeits)analytisch-empirischer Ansatz

• Kombination aus Top-down und Bottom-up ebenfalls möglich

(normalerweise nutzen wir die methode die das beste ergebniss einerseits liefert aber natürlich auch am leichtesten für uns zugänglich ist. am leichtesten zugänglich sind immer top down methoden weil die kann ich aus meinem eigenen wissensschatz machen. während bottom up heißt: ich geh nach draußen und schau menschen zu, da habe ich einen größeren aufwand. da muss ich also ins feld , cluster nusw. )

Bei der erfahrungsgeleitet-intuitiven Methode wird auf Basis von Expertenwissen definiert, was in einem diagnostischen Verfahren gemessen werden soll

Grundgedanke: Personen, die detailliertes Wissen über das zu erfassende Konstrukt haben, nehmen Eingrenzung vor und benennen Indikatoren

- Expertinnen und Experten aus Academia oder der Berufspraxis

- Auch Laien können Expertise haben ➜ Einbindung der Zielgruppe, um Akzeptanz des Tests zu erhöhen

• Umsetzung: Workshops, schriftliche Befragung, Interviews

• Nachteil: Resultate hängen von der Qualität des Expertenwissens ab

(die erfahrungsgeleiteten intuitiven methode basiert auf dem was man zb über die psychologie weiß, also was man über ein konstrukt weiß wenn man den namen hört. hat natürlich auch einflüsse aus dem populären wissen, aus dem algemin wissen , aus dem allgemeinem verständnis welches in der gesellschaft grade vorherrscht. das bedeutet das diese erfahrungsgeleitete intuitive methode manchmal auch danebn liegen kann dh wenn man zb viel erfahrung hat in der psychologie dann weiß man zb was narzissmuss ist, man würde also automatisch beschreiben können was man darunter versteht dh die definition lebt von dem eigenen wissen , dieses eigene wissen kann natürlich verkmüpft werden mit kollegen/-innen. dh wenn man gut erfahrungsgeleitet intuitiv arbeitet dann hat man zb ein kleines team und jeder bringt sein spezifisches wissen, seine spezifische perspektive ein und die hoffnung ist dadurch das jeder vlt einen leicht anderen blickwinkel aufweist das bliunde flecken dadurch verhindert werden. woher kommen jetzt diese personen die dieses wissen haben? Sind psycholgen ist ja ganz klar, das sind unsere experten/_innen aber expert/-innen können auch aus dem berufsfeld kommen oder aus dem spezifischen feld wo die eigenschaft primär auftritt. dh wenn man zb eifersüchtig untersucht dann sind expertinnen auch leute die hart eifersüchtig sind. dh hier handelt es sich um die expertise bei laien. also laien sind die die im feld sind. dh es gibt expertinnen in der psychologischen wissenschaft als auch in der praxis selbst. )

(nachteil: auch wie breit der wissensstand und auch der erlebnishorizont der expterinenn ist)

Ziel: Identifikation von Konstruktindikatoren und Definitionen aus der

Fachliteratur

- Lehrbücher

- Überblicksartikel (reviews)

- Literatursuchmaschinen: PsycInfo, Psyndex, Web of Science,

GoogleScholar

- Bereits existierende Testverfahren

• Wie erfolgt dort die Eingrenzung?

• Von welchen Konstrukten erfolgt eine Abgrenzung?

➜ Sammeln und Systematisieren wiederkehrender Definitions-merkmale des Konstrukts

(literaturreche ist vom prinzip her gleich wie der erfahrungsgeleiteter intuitiver ansatz nur das jetzt statt realen personen hier das kristalisierte wissen von personen genutzt wird, weil es nämlich hingeschrieben ist, sei es in büchern oder zeitschriftartikeln.

(BESTEHENDE VERFAHREN NUTZEN. nicht denken ich lass mich nicht beeinflussen, man muss wissen in welchem kontext wurde dieses schon bestehende verfahren genutz? und ist dieser kontext mit meinem kontext kompatibel? )

Grundidee: Verhaltensindikatoren für das

Konstrukt werden durch die Verwendung

standardisierter Beobachtungs- oder

Befragungsinstrumente identifiziert

• Critical Incident Technique (Flanagan, 1954)

  -Oft verwendete Methode zur Ermittlung von Verhaltensankern, wenn Merkmal unbekannt

  -Bsp. Berufserfolg von Strahlenschutz-technikern

  - Kritische Situationen ermitteln, darin Verhaltensweisen sammeln

  -„Experten“ sollen, (meist) retrospektiv, aus

  diesen Situationen berichten

➜ Aus Verhaltensweisen auf

Personeneigenschaften schließen

(ist eine bottom up methode. diese methode setzen wir besonders gerne ein wenn ein merkmal noch nicht operaationalisiert wurde dh wenn ein merkmal in der psychologie noch neu oder weniger erforscht ist bzw wenn man ein merkmal in einem kontext erheben will , wo es noch nicht erhoben worden ist. zb narzissmus spezifisch bei sporttrainern. und man sagt das ist sonst nie da erhoben worden dann ist es sinnvoll diese arbeits-analytische methode zu verwenden. das besondere an dieser methode ist dass sie versucht den menschen die an einer bestimmten position sich aufhalten kann auch sagen arbeiten das man die beobachtet einerseits aber noch viel eher das man sie befragt was sie denn erleben in diesen spezifischen situationen und das man aus diesen befragungen sowas wie cluster rausfindet oder definitorische merkmale rausfindet die dann insgesamt zu einer konstruktdefinition führen werden. was man hierzu verwendet ist meistens dieser critical incident technique aus den 50er, die deswegen so sinnvoll ist weil die meisten situationen sind ziemlich ungriffig also dh sie haben wenig spezifisch eigenschaft sondern sie sind meistens sehr repetetiv und sehr wenig spezfisch. das bedeutet wenn man zb in der vorlesung zuhört dann ist diese situation sehr ähnlich für einen wie bei anderen vorlesungen. das ist nichts neues. am meisten erfahr ich über die wirklichen anforderungen zb eines studiums wenn ich mir ne situation anschaue bei der es brenzlig wurde, wo erfolg oder misseffog oder gutes oder nicht so gutes handeln fifty fifty waren. bei so fifity fofty items wo man gezwungen sich fphlt sich für die eine oder andere richtung zu entscheiden, sind die besten items weil du da am meisten über dich lernst. )

critical icident interview heißt es auch - zb kita gründer, warum gründet man sowas und was wäre eine herausforderung, oder ein paar fragen wann was eine situation wo sie gedacht haben boah das war jetzt herausfordernd. und dann lass ich sie mir schildern). also kann ich diese technik für alle bereiche aus der psychologie anwenden auch wenn sie aus der ao psychologie kommt .)

ein item mich dazu zwingt das ich sag ja ich kanns in die eine oder in die andere richtung beantworten also ich bin gleich gut wie das item schwer ist. also grad bei ner fifty fifty chance kriege ich am meisten informationen über mich selbst raus. bei ner fifty fifty item schaue ich mir selbst in den spiegel.

Grundidee: Empirisch gefundene Zusammenhänge zwischen dem zu

messenden Konstrukt und anderen Konstrukten und Kriterien nutzen

➜ Daraus auf zugrunde liegende Verhaltensindikatoren bzw. auf die Struktur des nomologischen Netzes schließen

Empirische Befunde werden z.B. aus Metanalysen entnommen (z.B.

Intelligenz und Berufserfolg: Schmidt & Hunter, 1998)

➜ Konstruktüberlappungen werden leichter aufgedeckt

Nachteil: Methode nur sinnvoll, wenn schon verlässliche Verfahren zur

Erfassung des Konstrukts vorliegen

➜ Neuentwicklung dann wirklich sinnvoll?

(diese methode ist stark statistisch angehaucht. personen bezogen empirisch heißt sie deswegen weil sie auf daten von personen beruht dh wir schauen uns primär korrelationen an von verschiedenen verhaltensweisen, wenn verhaltensweisen hoch korrlieren dann haben wir die voraussetzung dafür ein bündel zu bilden wenn facetten hoch korrelieren dann können diese facetten zusammengefasst werden und unter umständen zu einem vorüberstehenden konstrukt also zu einer domäne dh was wir hier tun ist wir verwendet gesammelte daten um eigenschaften. verhaltensweisen in ein verhätns zu bringen. das funktionert gut weil sie auf daten basiert zbb man vernwedet die metaanalyse von schmidt uns so nimmt. (sehr bekannte metaanalyse).

gute ist an der methode das man die korreltaionen die man findet meistens auf einer sehr globalen ebene findet) (also eher allgemein)

(wenn man mit den verschiedenen methoden indikatoren gefunden hat und diese indikatoren bündelt dann hat man am ende ein nomologisches netz dh man hat ein netz oder eine landkarte an der man erkennen kann aus wie vielen bereichen das konstrukt zusammengefasst ist welches ich gerne untersuchen möchte oder erheben möchte. )

(abbildung= angst wahrnehmen, wenn ich meine angst wahrnehmen kann dann kann ich auch meinen körper wahrnehmen. menschen die depressive symptomtaik aufweisen haben angst vor der zukunft. aber angst sensitivität ist etwas anderes, weil dieses in mir rein hören wie es mir geht ist nicht definitorisch für depression! dh auch hier überlappungsbereich aber es ist was unterschieldiches. so ist es bei all diesen beispielen der abbildung. )

Die vier Methoden erlauben es ...

• relevante Konstruktindikatoren zu identifizieren,

• das nomologische Netz des Konstrukts zu elaborieren und

• das Konstrukt im nomologischen Netz zu verorten

• Auf dieser Grundlage sollte sich eine möglichst verhaltensnahe

• Arbeitsdefinition erstellen lassen

Das nomologische Netz ist damit definiert

➜ ABC der Testkonstruktion: „dient für punkt A) Was wird gemessen?“

➜ Grundlage für Validierungsstrategie

(zsmgefasst kann man sagen das es bei diesen methoden keine beste oder schlechteste methode gibt. die methode die wir am wenigsten einsetzen werden ist die personenbezogene empirische methode, weil wir da einfach schon auf daten zugreifen müssen und dann die notwendigkeit eines neuen verfahrens nicht unbedingt gegeben ist.)

ABC der Testkonstruktion (Ziegler,

2014)

• Rahmenmodell für Testentwicklung

und Test-evaluation

A) Welches Konstrukt wird

gemessen?

B) Zu welchem Zweck?

C) Bei wem?

erklärung ABS der Testkonstruktion:

(bereich a) liegt ganz klar in der rein theoretischen definition des konstrukts nämlich welches konstrukt wird gemessen.)

(B) hat mit der kriteriumsvalidität zu tun , wozu messe ich dieses konstrukt, was will ich denn damit dann vorhersagen, was will ich mit einem möglichen ergebnis machen. )

c) beim wem möchte ich diese messung durchführen? das ist wichtig weil: der erlebens und erfahrungshorizont sich unterscheidet wenn ich zum beispiel etwas bei einem 6.jährigen kind messe im gegensatz zu einem 80.. jährigen menschen der vlt dann schon nicht mehr alleine leben kann.)