Testgüte 2

-        Wie Problem systematischer Testwert Unterschiede zwischen Auswerter*innen rausrechnen (Einer gibt immer 2 Punkte mehr)

o    Interklassenkorrelationen (Vergleich Varianz Testprotokolle und Auswerter, sowie deren Wechselwirkungen)

-        Definition: Unabhängigkeit von Person die Durchführt, Auswertet, Interpretiert

o   Zentrales Mittel: Standardisierung oder per  Computer

-        Kriteriumsorientiert (anhand Inhaltlicher Vorgaben  keine richtige Normierung)

-        Testwert= Summe erzielter Punkte/Richtiger Items

-        Normalisierung

o   Durch Logartihmierung

o   Durch Flächentransformation (Prozentrang errechnen  Prozentrang Klassne Zuordnen ?  Z- Wert für Prozentrang ablesen

-        Äquivalenznormen (Zuordnung von Rohwerten zu einer von mehreren Vergleichsgruppe)

-        Variabilitäts/Abweichungsnormen (Zuordnung auf Skala INNERHALB einer Vergleichsgruppe)

o   Verschiedene Normskalen (C- Wert, T-Wert, Z-Skala, IQ Skala)

-        Prozentnormen (relative Position in der Vergleichsgruppe)

-        Kontinuierliche Normen (mittels multipler Regression mehrere Variablen können genutzt werden)

o   Dadurch geringere Verzerrungen, wenn Substichproben nicht perfekt repräsentativ

o   Lücken werden geschlossen (keine diskreten Klassen mehr)

§  Repräsentativ (Zufalls oder Quotenstochproben)

§  Groß (Empfehlung über 200)

§  Aktuell (Laut DIN Neunormierung alle 8 Jahre)

-        Definition: passung zwischen Testwertrelationen und Merkmalsrelationen (Wird ungeprüft vorausgesetzt bei KTT) (Zweidimensionalität kann zu hohen Korrelationen führen aber natürlich schlecht skaliert)

o   Ordinal

o   Intervall (KTT ungeprüfte Annahme)

o   Rationalskalenniveau

-        Nicht wissenschaftlich definierbar… denn enthält Wertsetzung teilweise Schwer messbar, da Falsch negative nicht gefunden werden

o   Modell von Cleary

§  Wenn gruppen die selbe Regressionsgerade zwischen Test und Leistung im Kriterium haben ist der Gruppenunterschied fair (die eine Gruppe ist einfach sowohl test als auch Leistungsschwächer)

§  Wenn Gruppen mit unterschiedlichen Testwerten gleiche Leistung im Kriterium bringen (parallele Regressionsgeraden) dann unfair und muss durch Normdifferenzierung Fair gemacht werden

o   Equal Probability Model (Linn) (RP: RP+FP)

§  Test is Fair wenn Anteil an richtig positiven(Erfolgswahrscheinlichkeit bei pos Testergebnis)  in beiden Gruppen gleich ist

o   Conditional probability model (Cole) (RP : FN+RP)

§  Potentiell geeignete müssen dieselbe Chance auf Positives Testergebnis haben

o   Constant ratio model (Thorndike) (RP+FP : FN+RP)

§  Verhältnis von Zugelassenen/positives Ergebnis und prinzipiell geeigneten(gewünschte Leistung) muss identisch sein

o   Din 33430- Berufsbezogene Eignungsdiagnostik (Din Normen veröffentlicht durch Deutsches Institut für Normung)

§  Prozessnorm:

·       Qualität der verwendeten diagnostik Verfahren (lange Liste als Grundlage)  

·       Einhaltung angemessener Abläufe

·       Qualifikation beteiligte Personen (lizensierung nötig als)

o   Eignungsdiagnostiker (benötigt Praxiserfahrung)

o   Beobachter bei verhaltensveobachtung

o   Beobachter bei Eignungsinterviews

§  Nicht rechtsverbindlich

·       Kann Teil von Verträgen werden und dh Grundlage von Schadensersatz werden

·       Aber Gesetzgeber*innen können sich darauf beziehen u, Konkurrent*innen können klagen

·       Firmen über 500 Leute

·       Muss Weiterbildung/Zertifizierung machen

·       Förderung der Anzahl und Qualität/Standards von Testrezensionen

·       Rezensionen zugänglicher machen/publizieren

·       Auch Tests ohne universitären Hintergrund prüfen (Repräsentativ für alle vorhandenen Tests)

·       TK Gremium wählt Tests aus  beauftragt 2  Reviewer

·       Zwei Reviewer*innen schreiben unabhängig und tuen sich danach zusammen

o   Prüfung der Informationsgrundlage nach (DIN 33430)

o   Kategorisierung/Datenbankeitrag nach (nach ZIPD)

o   Frei und formalisierte Beurteilung ( voll, weitreichend, teilweise, nicht)

§  Allg Testinformationen

§  Objektivität Reliabilität Validität

o   Freie Beurteilung

§  Theoretische Grundlagen

§  Normierung

§  Und Weitere (Skalierung)

·       Ergebnis und chance eine Stellungnahme zu formulieren an Testautor*innen  ggf. überarbeiten die