3. Itementwicklung und Testentwurf

• Nächster schritt nach dem Erstellen der Arbeitsdefinition ist die Entwicklung eines Testentwurfs.

• Einfluss auf Form und Inhalt eines Test haben:

  -Testziel

  -Konstruktionsstrategie

  -Zielgruppe

  -Art des Tests bzw. der Indikation

  -Itemformulierung

  -Itemformat

  -Itemauswahl

(Die Arbeitsdefinition die wir jetzt schon hinter uns haben, die hilft uns zu wissen welche Indikationen denn sinnvoll wären oder welche eigenschaften wir denn gerne abfragen oder beobachten wollten allerdings habe ich dann immer noch den Einfluss der Personen und des Ziels meines Verfahrens welches die potenziellen Indikatoren formt. dh es geht hier darum jetzt zu überlegen will ich ein schweres Verfahen haben, will ich ein leichtes Verfahren haben- wenn zb mein Ziel ist ein screening zu machen für personen die deutlich unterdurchschnittlich ausgeprägt sind dann werde ich eher ein leichtes Verfahren entwickeln sodass die personen die mittel bis hoch ausgeprägt sind hier auf jeden fall über die Hürde drüber kommen. Und nur wirklich die übring bleiben die im unteren bereich sich befinden dh ein leichtes Verfahren differenziert eher im unteren Bereich dh im bereich wo die ausprägung sehr niedrig ist und ein schweres Verfahren differenziert schlecht im unteren bereich und besser im oberen bereich dh wenn die personen hoch ausgeprägt sind. dh all dies hat natürlich dann einfluss darauf wie ich denn mein Verfahren oder meine items letzloch konstruiere unabhängig davon wie denn die Definition war.

Bestimmung der Merkmalsausprägung:

-Lantentes Konstrukt soll anhand von Indikatoren gemessen werden (reflexive Messung)

-Normorientiertes Testen (“… den relativen Grad der individuellen Merkmalsausprägung “).

-Haupt- und Nebengütekriterien von besonderer Relevanz.

Gruppentrennung:

Bsp: Behandlungsbedürftige vs. Gesunde (Blut-Spritzen-Verletzungsphobie)

-Annahme einer lantenten Eigenschaft weniger wichtig

-Wichtig herauszufinden, worin genau sich die Gruppen unterscheiden

-Kriteriumsorientierte Tests: Vergleich mit einem zu erreichenden Kriteriumswert

-Formative messung (INDEX)

-Manche Gütekriterien nicht anwendbar

Sonderfall Wissenstest:

-Sowohl reflexive als auch formative Indikatoren möglich

-Inhaltsvalidität im Vordergrund

(Latentes Konstrukt – ist ein Sachverhalt (z.B. Kundenzufriedenheit), der nicht direkt beobachtbar bzw.messbar ist. Das bedeutet nicht, dass der betreffende Sachverhalt nicht “existiert”, sondern dass er aus anderen, messbaren Sachverhalten (Indikatoren) erschlossen werden kann.)

(der erste Punkt: ich muss diese Merkmalsausprägung bestimmen. ich muss bestimmen was ist für mich eine hohe ausprägung was ist für mich eine niedrige ausprägung und was ist für mich eine mittlere Ausprägung. zb mache ich einen inteligenztest für minderbegabung wo es darum geht zu schauen braucht eine person eine weitere person die ihm / ihr immer in zukunft zur seite steht, die sie unterstützt im täglichen leben dann werde ich natürlich ein verfahren einsetzen welches sehr einfach ist wo also die merkmalsausprägung im unteren bereich sich aufhält. wenn ich dagegen ein verfahrne für die hochbegabung entwicklen würde dann muss ich natürlich sagen, mir gehts nicht darum rauszufinden ob jemand eher unter durchschnittlich intelligent ist oder eher durchschnittlich inteligent ist, um die geht es für mich garnicht mir geht es darum in dem oberen bereich wo es darum geht ist es wirklich jemand der hochbegabt ist oder ist es nur jemand der sehr sehr intelligent ist, was ja unterschiedliche definitonen sind.

dh wenn es darum geht das ich die merkmalsausprägung bestimme dann muss ich mir erstmal überlegen, in welchem bereich halte ich mich auf , mit wem vergleiche ich diese Personen und dann heißt es gleichzeitig auch schon, dass ich normorientiert teste oder ein Verfahren entwickeln muss wo ich normorientiert vorgehen werde. Normorientiertes vorgehen bedeutet das ich die leistung oder die ausprägung einer person immer nur im vergleich zu anderen personen beurteilen kann. zb hochbegabt heißt ja jemand ist begabt im verhältnis zu seinen gleichaltrigen Personen und zwar im höhren maße als diese. es geht hier nicht darum, dass ich kriteriumsorientiert teste, kriteriumsorientiertes testen würde heißen es gibt eine hürde und diese hürde muss erfüllt werden oder eben nicht erfüllt werden. zb wenn man sagt: wenn sie pilotin werden wollen dann müssen sie perfekte sehkraft haben das bedeutet ich teile sie ein in die, die perfekt sehen und in die ,die nicht perfekt sehen. das hat mit einem vergleich mit den anderen nichts zu tun. dh der vergleich ist mir egal.

wenn es um gruppentrennung geht dann muss ich mir die merkmalsausprägung garnicht erst anschauen, wenn ich gruppen trennen will brauche ich letzlich kein psychologisches verständnis. Tests die gruppentrennungen vornehmen brauchen kein psychologisches verständnis. dh bei gruppentrennungen geht es nur darum irgendwelche indikatoren zu finden ohne rücksicht auf ihre psychologische relevanz die mir helfen würden zu sagen ja du bist es oder du bist es nicht (zb wenn ich wissen will ob sie 20 / 20 sehkraft haben, dann stelle ich eine tafel hin und lasse die buchstaben ablesen. oder fragen ist da ne mücke oder nicht, wenn sie gesehen wird hat es den gleichen wert. die items können also so seien wie sie wollen, so lange ich damit personen trennen kann.) (solche items sind dann keine reflexive indikatoren sondern sie sind formative items. dh sie formen die messung sie sind der inhalt der messung. wenn das item ist: kannst du die mücke erkennen? dann steckt dahinter keine lantente eigenschaft sondern ich kann nur sagen, dass ist die eigenschaft: Mücke erkennen / Mücke nicht erkennen.)

(echte psychologische tests sind reflexiv und müssen auf eine andere art konstruiert werden innerhalb der faktorenanalyse als formative indikatoren. formative indikatoren sind sozusagen dumm, die geben also keine informationen die jenseits des items stehen sondern das item ist : ich kann 4 bagels hintereinander essen , was das bedeutet keine ahnung, ich brauch halt das 4 bagels essen.) deswegen sind die meisten Gütekriterien nicht anwendbar bei der gruppentestung, auf jeden fall die inhaltsvalidität nicht , reliabilität schon und obejktivität auch.

(Wissenstests sind eine sonderform dass sie beides beinhalten können , bei wissenstests werden häufig so lernfragen abgefragt zb wenn ich frag: die studie von schmidt und hunter 1893 was hat die denn rausgefunden, dann hat das nichts mit dem psychologischen verständnis einer person zu tun, es wäre eher etwas was gelernt wurde. also ich trenne die gruppe zu denen die gelernt haben und die die nicht gelernt haben. nicht zwischen die es verstehen und nicht verstehen. dh das wär ein reines gruppentrennung formativer indikator aber ich kann bei einem wissenstest auch um die ecke denken lassen und sagen nennen sie mir 4 eiegnschaften die sie diagnostizieren wollen wenn ein paar zu ihnen kommt und sagt sie habne probleme in der beziehung. welche verschiedenen aspekte würden sie denn abfragen? da würde man dann sehen, wenn viele verschiedene apsekte abgefragt werden, ja sie verstehen die diagnostik. )

• Voraussetzung: gut ausgearbeitete Theorie über das zu untersuchende

Konstrukt

• Items werden aus Theorie abgeleitet (z.B. aus dem nomologisches Netz und

der Arbeitsdefinition)

• Deduktiv, weil vom Allgemeinen = „Höheren“ (Theorie) zum Spezifischen =

„Tieferen“ (Items) hingeführt wird

• Bsp. IST 2000 R (Liepmann, Beauducel, Brocke & Amthauer, 2007): fluide und

kristalline Intelligenz, verschiedene Facetten

(Was sind nun die Itemkonstruktstrategien: die am häufigsten eingesetzte ist die Rationale Strategie. Für die Hausarbeit werden wir Rational und induktiv einsetzen. Rationale Testkonstruktion bedeutet einfach, dass sie ihre arbeitsdefinition also ihre konstruktdefinition hernehmen und dann sgane okay wir haben es definiert, was würde denn jemand tun der hoch ausgeprägt ist auf diese eigenschaft. also wenn sie zb extraversion definieren als gerne unter menschen sein, dann würden sie bei der rationalen sagen: okay jetzt stellen wir uns jemanden vor der hoch ausgeprägt ist auf extravserion dh er muss jetzt auf starke weise zeigen, dass er gerne unter menschen ist. was wär da ein verhalten?. umgekehrt: sie würden auch ein item machen und schauen was ist denn eine niedrige ausprägung?. die mittlere intensität verschieben sie in die antwortmöglichkeiten dazu würden sie keine items machen, zb wenn ich sag: am liebsten habe ich immer menschen um mich. dann würden sie als antwortmöglichkeit haben: stimme ich garnicht zu, stimme ich eher nicht zu, stimme ich ein wenig zu, stimme ich sehr zu.

wenn da jemand sagt stimme ich eher nicht zu dann bedeutet das naja der ist eben nicht extrem extravertiert sondern der ist halt nicht völlig introvertiert aber es reichen ihm schon 2 -3 leute der muss nicht jeden tag 20 leute um ihn herum haben. )

(Der vorteil von der rationalen Methode ist dass man sich rein an der arbeitsdefinition entlang hangelt, dass die inhalte die man findet für die items normalerweise sehr theorie komform sind. )

(Der Nachteil von der rationalen Methode ist dass sie manchmal künstlich sein könnten oder die items eben nicht reale verhaltensweisen zeigen. sondern die, die eben der theorie enstprechend sein würden aber nicht im realen leben auftreten, wenn man es aber gut macht besteht das problem nicht.)

(eines der Verfahren welches rational konstruiert worden ist, ist der IST 2000 mittlerweile ja IST 5 der die fluide und kristalline Intelligenz misst und diese in verschiedenen facetten misst. )

• Fokus: Gruppentrennung ➜ Suche nach Items, die am besten differenzieren

• Keine Theorie als Grundlage der Itementwicklung

• Meist liegt Arbeitsdefinition und nomologisches Netz vor ➜ spezifizieren durch welche Eigenschaften und Verhaltensweisen sich die Gruppen unterscheiden

• Items gehören oft verschiedenen Konstrukten an ➜ keine Eindimensionalität

• Bsp. Minnesota Multiphasic Personality Inventory (MMPI):

- Mein Sexualleben ist zufrieden stellend (Psychopathieskala)

- Ich lese gerne Zeitungsartikel über Gerichts- und Kriminalfälle (Hysterieskala)

(Von den Konstruktstrategien fällt die Externale raus, die steht für sich weil sie nur für die Gruppentrennung verwendet wird. Deswegen auch Kriteriumsorientierte Testkonstruktion. Letzlich funktioniert die so: du hast in der realität zwei gruppen die du irgendwann später trennen willst zb ich hab die gruppe der depressiven und ich hab die gruppe der gesunden das können zb depressive aus einer station sein und gesunde die ich auf der straße finde, die jedenfalls nicht klinisch regestriert oder aufgenommen worden sind. und dann gebe ich denen einen pool von items vor, einen unüberlegten oder unsortierten pool von items. und dann schau ich nach sogenannten differential item functioning dh ich suche nach den items wo diese beide gruppen signifikant anders antworten dh wo die eine gruppe bei einer skala 1-4 einen mittelwert von 1,5 hat und die andere gruppe hat einen mittelwert von 3,5. wenn ich so einen item finde dann nehme ich das, weil das hilft mir die gruppe zu trennen. also ich suche nach differential item functioning also wo funktioniert das item unterschiedlich in den gruppen. ich gebe also deswegen so viele items vor, weil ich damit rechnen muss das viele items gleich funktionieren in den gruppen, die muss ich hinterher weg werden, ich kann also nur die items nehmen , wo sie sich unterscheiden. dann würden zb die personen die der gruppe der depressiven angehören, hoch scoren und die die der nicht depressiven gruppe zugehören würden niedrig scoren.)

(häufig ist es so, weil diese items eben blind vorgegeben werden das die nicht dem prinzip der eindimensionalität genügen, nicht dem prinzip der lantenten variablen genügen und auch nicht dem prinzip einer sinnvollen inhaltsvalidität genügen. )

(zb das MMPI unterscheidet bei der psychopathieskala : mein sexualleben ist zufriedenstellend. wenn du da mit nein antwortest bist du tendenziell psychopath).

“ich lese gerne zeitungsartikel über gerichts und kriminaöfälle- wenn du das tust dann scorst du hoch in der Hysterieskala).