4. Beurteilerübereinstimmung: 2 Rater: Cohens Kappa

zufallsbereinigtes Maß der Beurteilerübereinstimmung für 2 Rater

-> wie für Chi^2-Tests wird für die Berechnung von Kappa die Anzahl zufällig konkordanter Urteile aus Randverteilungen geschätzt

-> Kappa ist Anteil der über dne Zufall hiinausgehenden konkordanten Urteile gemessen an den theoretisch möglichen

genauso wie in prozentualer Übereinstimmung

-1 bis +1

-> ähnlich wie Korrelation, aber Interpretation von Werten klener gleich Null etwas anders

Perfekte Übereinstimmung/Konkordanz

Keine beobachteten Übereinstimmungen bei max. Wahrscheinlilchkeit zufälliger Übereinstimmungen

Beobachtete Übereinstimmung nicht besser als die durch Zufall erwartete

-> Signifikanz ist Voraussetzung !!!

der praktische Wertebereich und die Ausprägung des Koeffizienten werden auch von Faktoren beeinflusst, die NICHT Konkordanz selbst betreffen

• ungleiche Randverteilungen der Urteile

• geringe Anzahl an Beurteilungskategorien und geringe Besetzung von Zellen

• niedrige Prävalenz des untersuchten Merkmals ( kleiner als 10% in der Stichprobe)

Unterschätzung der Konkordanz

beliebig viele

Die Berechnung von gewichtetem Kappa

• kappa verrechnet alle Nicht-Übereinstimmungen gleich schwer

• Nicht-Übereinstimmung “leicht”-”mittel” ist inhaltlich aber vielleicht nur weniger problematisch als “leicht”-”schwer”

• gewichtetes Kappa erlaubt unterschiedliche Gewichte für unterschiedliche Arten der Nicht-Übereinstimmung

• kann auch für nominale Kategorien angewandt werden, wenn nicht alle gleich schwer sind

-> geht sowohl in JASP, als auch in SPSS

maß der relativen Gleichheit

• alle Übereinstimmungen haben max. Gewicht (=1) für Bestimmung der relativen Gleichheit

• kleinere Abweichungen haben immer noch Gewicht >0und tragen positiv zur relativen Gleichheit bei

• gewichtetes Kappa numerisch größer als ungewichtetes

• linear

• quadratisch