Zu dieser Karteikarte gibt es einen kompletten Satz an Karteikarten. Kostenlos!

Berechnung des gewichteten Kappa (weighted Kappa;
Cohen, 1968)
Kappa verrechnet alle Nicht-Übereinstimmungen gleich schwer, kann unangemessen sein, wenn Merkmale z.B. ordinal skaliert sind

Fleiss‘ Kappa

• Liegen Urteile von mehr als 2 Ratern vor und ist man an deren Übereinstimmung interessiert
• Mittlere Konkordanz aller Rater über alle Objekte
• Inhaltlich kann Fleiss‘ Kappa analog zu Cohens Kappa interpretiert werden, Gewichtung ist aber nicht möglich

Probleme des Kappa-Koeffizienten führten auch zur Empfehlung der Verwendung anderer Koeffizienten

• Für dichotome Ratingsskalen und 2 Rater z.B. Odds Ratio oder Yules Y (vgl. Wirtz & Caspar, 2002)
• Für metrische Ratingskalen ist insbesondere die Intraklassenkorrelation (ICC) ein gebräuchliches Maß zur Bestimmung der Interraterreliabilität
- Maß der Varianzaufklärung (Wertebereich 0 bis 1)- Für 2 oder mehr Rater geeignet- Erlaubt Bestimmung der absoluten oder der relativen Gleichheit von UrteilenIn SPSS (Analysieren > Skalieren > Reliabilitätsanalyse …) ausreichend implementiert