Was versteht man unter Reliabilität? Wie kann diese bestimmt werden (im Überblick)?
Die Reliabilität eines Tests beschreibt den Grad der Genauigkeit, mit dem er ein bestimmtes psychisches Merkmal misst, gleichgültig, ob er dieses Merkmal auch zu messen beansprucht.
Auch: Messgenauigkeit
Es geht darum ob das Ergebnis exakt ist. Die unter gleichen Bedingungen gemessenen Messwerte ein und derselben Person sollten übereinstimmen.
(theoretische Reproduzierbarkeit - jedoch in Diagnostik nicht halbar (Übungseffekte, Erinnerungseffekte)
(Methoden der Klassischen Testtheorie)
Auch: Messgenauigkeit
Es geht darum ob das Ergebnis exakt ist. Die unter gleichen Bedingungen gemessenen Messwerte ein und derselben Person sollten übereinstimmen.
(theoretische Reproduzierbarkeit - jedoch in Diagnostik nicht halbar (Übungseffekte, Erinnerungseffekte)
- Paralleltest-Reliabilität
- Retest-Reliablität
- innere Konsistenz: split-half-Methode, Spearman-Brown-Formel, Standardmessfehler, Konfidenzintervall
(Methoden der Klassischen Testtheorie)
Tags: Reliabilität, Test
Quelle: S49, VO02
Quelle: S49, VO02
Was ist die Paralleltest-Reliablität?
Die Paralelltest-Realiabilität geht davon aus, dass zwar nicht eine Testwiederholung mit dem ursprünglichen Test möglich ist, jedoch eine mit einer völlig gleichwertigen Nachahmung des Tests (sog. Paralleltest).
Die Korrelation zwischen Test und Paralleltest beschreibt dann das Ausmaß, in dem die Relationen der Testwerte (Messungen) der einzelnen Tpn zueinander kostant bleiben.
Der Haupteinwand gegen diese Methode besteht darin, dass die Klassische Testtheorie größte Probleme hat, Paralleltests überhaupt zu erstellen.
Die Konstruktion mit Hilfe der Item-Response-Theorie ist wesentlich einfach und auch methodisch eindeutig kontrollierbar.
Die Korrelation zwischen Test und Paralleltest beschreibt dann das Ausmaß, in dem die Relationen der Testwerte (Messungen) der einzelnen Tpn zueinander kostant bleiben.
Der Haupteinwand gegen diese Methode besteht darin, dass die Klassische Testtheorie größte Probleme hat, Paralleltests überhaupt zu erstellen.
Die Konstruktion mit Hilfe der Item-Response-Theorie ist wesentlich einfach und auch methodisch eindeutig kontrollierbar.
Tags: Reliabilität
Quelle: S51, VO02
Quelle: S51, VO02
Was versteht man unter der Retest-Reliabilität?
Sinnvoll um zu überprüfen wie Stabil ein Merkmal ist.
Die Idee der kurzfristigen Wiederholung ein und desselben Tests wurde bereits als unrealistische bezeichnet; trotzdem wird die Retest-Reliabilität als eine Methode der Reliabilitätsbestimmung angeführt.
Über einen längeren Zeitraum hinweg, liefert die Korrelation zwischen Test und sog. "Retest" jedoch sehr wohl relevante Information über den Test bzw. die mit ihm gemessene Eigenschaft: In diesem Zusammenhang ist aber dann besser die Bezeichnung "Stabilität" zu verwenden.
Die Idee der kurzfristigen Wiederholung ein und desselben Tests wurde bereits als unrealistische bezeichnet; trotzdem wird die Retest-Reliabilität als eine Methode der Reliabilitätsbestimmung angeführt.
Über einen längeren Zeitraum hinweg, liefert die Korrelation zwischen Test und sog. "Retest" jedoch sehr wohl relevante Information über den Test bzw. die mit ihm gemessene Eigenschaft: In diesem Zusammenhang ist aber dann besser die Bezeichnung "Stabilität" zu verwenden.
Tags: Reliabilität
Quelle: S52, VO02
Quelle: S52, VO02
Was ist die "innere Konsistenz" und wie kann diese überprüft werden?
Die Messgenauigkeit eines Tests wird beurteilt danach, wie sehr seine einzelnen Teile (Items) dasselbe messen.
Die Items müssen also eine bestimmte Homogenität zeigen, dass sie alle das gleiche Messen, da sonst die Testergebnisse stark von Zufälligkeiten abhängen, was die Exaktheit der Messung reduziert.
Methoden zur Überprüfung:
Weitere Methoden (nicht in der VO besprochen):
Die Items müssen also eine bestimmte Homogenität zeigen, dass sie alle das gleiche Messen, da sonst die Testergebnisse stark von Zufälligkeiten abhängen, was die Exaktheit der Messung reduziert.
Methoden zur Überprüfung:
- Split-half-Methode (odd-even): Die Hälfte aller Aufgaben wird verwendet um einen Test zu generieren und die andere Hälfte für einen 2. Test. Die beiden Tests werden dann korreliert.
- Spearman-Brown-Formel: - Bei der Split-Half-Methode wird die Messgenauigkeit nur für einen halben Test bestimmt und mit dieser Formel wird dies auf einen ganzen Test hochgerechnet
- Standardmessfehler Wichtig immer die richtige Standardabweichung (z.B. IQ = 15) heranziehen.
- Konfidenzinterfall (siehe Grafik)
(Die Indizierung "tt" soll anzeigen, dass der Korrelationskoeffizient zwischen test und test bestimmt wurde.)
Weitere Methoden (nicht in der VO besprochen):
- Cronbach-alpha: zur Abschätzung der unteren Grenze der Reliabilität; s2 = Varianz des Gesamttests / s1 und s2 Varianzen der beiden Testteile)
- Kuder-Richardson-Formel 20: "Konsistenzanalyse", Ein Test wird in so viele Teile zerlegt wie er Items besitzt. (pi für die geschätzte Lösungswahrscheinlichkeit von Item i, i=1,2,...k)
(Die Kuder-Richardson-Formel 20 gilt nur für dichotom zu verrechnete Items und setzt (unrealistischerweise) voraus, dass sämtliche Interkorrelationen gleich sind. .... sonst nur Abschätzung der Reliabilität)Tags: Reliabilität
Quelle: S52, VO02
Quelle: S52, VO02
Wie groß ist das Konfidenzintervall bei einem Intelligenztest (IQ, 
) wenn gilt:
a)
(und 
).
b)
().
Interpretiere das Ergebnis.
) wenn gilt: a)
(und ).b)
().Interpretiere das Ergebnis.
Die Formeln:
Die Berechnung:
a)
b) für
Das heißt, selbst bei hoch reliablen Tests muss mit einer im Vergleich zu physikalischen Messungen (Fieberthermometer) relativ großen Messungenauigkeit gerechnet werden.
Die Berechnung:
a)
b) für
Das heißt, selbst bei hoch reliablen Tests muss mit einer im Vergleich zu physikalischen Messungen (Fieberthermometer) relativ großen Messungenauigkeit gerechnet werden.
Tags: Konfidenzintervall, Reliabilität
Quelle: S54
Quelle: S54
Was ist ein häufiger Fehler beim Vergleich zweier Testwerte?
In der Praxis kommt es gelegentlich zu voreiligen Schlussfolgerungen, was die Unterschiede zweier Testwerte betrifft.
Wenn es zum Beispiel inhaltlich gerechtfertigt sein soll, bezüglich IQ = 100 und IQ = 101 von bedeutenden, d.h. statistisch signifikanten Unterschieden zu sprechen, dann dürfte sich das (einseitige) Konfidenzintervall für die Person mit IQ = 100 höchsten (nicht ganz) bis 100,5 erstrecken; zusätzlich dürfte das (in die andere Richtung bestimmte einseitige) Konfidenzintervall für die Person mit IQ = 101 den Minimalwert 100,5 nicht unterschreiten.
Mit Hilfe der Formel des SMF lässt sich aus diesen Bedingungen der dabei notwendige Reliabilitätskoeffizient von rtt=0,99996 leicht ausrechnen - eine garantiert unrealistische Voraussetzung.
Wenn es zum Beispiel inhaltlich gerechtfertigt sein soll, bezüglich IQ = 100 und IQ = 101 von bedeutenden, d.h. statistisch signifikanten Unterschieden zu sprechen, dann dürfte sich das (einseitige) Konfidenzintervall für die Person mit IQ = 100 höchsten (nicht ganz) bis 100,5 erstrecken; zusätzlich dürfte das (in die andere Richtung bestimmte einseitige) Konfidenzintervall für die Person mit IQ = 101 den Minimalwert 100,5 nicht unterschreiten.
Mit Hilfe der Formel des SMF lässt sich aus diesen Bedingungen der dabei notwendige Reliabilitätskoeffizient von rtt=0,99996 leicht ausrechnen - eine garantiert unrealistische Voraussetzung.
Tags: Konfidenzintervall, Reliabilität
Quelle: S74
Quelle: S74
Kartensatzinfo:
Autor: coster
Oberthema: Psychologie
Thema: Psychologische Diagnostik
Schule / Uni: Universität Wien
Ort: Wien
Veröffentlicht: 12.06.2013
Tags: SS2013, Holocher-Ertl
Schlagwörter Karten:
Alle Karten (119)
16 PF-R (3)
AIST-R/UST-R (2)
Aufmerksamkeit (1)
Beobachten (1)
Big Five (1)
culture-fair (5)
Definition (3)
Diagnostik (15)
Eichmaßstäbe (3)
Eichung (9)
Eigenschaft (1)
Ethik (1)
Fairness (7)
Faktorenanalyse (2)
Formal (8)
Fragen (3)
Freiwillige (1)
GIS (1)
Grundsätze (6)
Gruppenverfahren (1)
Gütekriterien (1)
Intelligenz (1)
Interessen (4)
IQ (1)
Konzentration (1)
Laien (1)
Leistungsdiagnostik (13)
Memory (1)
Merkmal (1)
Messen (1)
NEO-PI-R (2)
Nützlichkeit (2)
Objektivität (5)
Ökonomie (3)
Postkorb (1)
Profil (1)
Prognose (1)
Prozentrang (2)
Prüfen (3)
Psychologe (1)
Rasch-Modell (5)
Reasoning (1)
Reliabilität (6)
Schwierigkeit (1)
Skalierung (8)
Space (1)
Test (2)
trait (1)
Validität (8)
Verfahren (3)
Voraussetzung (1)
Zumutbarkeit (2)
