Get these flashcards, study & pass exams. For free! Even on iPhone/Android!

Bei manchen Testkonzepten ist die Aufgabenstellung erst über die Antwortmöglichkeiten definiert.

Der Untertest N-Test 1 aus dem KFT 4-12+R zum Beispiel, verlangt von der Testperson, pro Aufgabe eine gemeinsame Eigenschaft von 3 Figuren herauszufinden, wobei diese erst durch die beigegebenen fünf Antwortmöglichkeiten bestimmt ist.

(Beispiel noch einscannen - S133 unten)

Sehr oft unterschätzt wird die diagnostische Tragweite des Rateeffekts beim Multiple-Choice-Format. Die Wahrscheinlichkeit nämlich, dass die Tp bei einer Aufgabe nur zufällig die richtige Antwortmöglichkeit wählt und folglich die Aufgabe als "gelöst" verrechnet wird, kann relativ groß werdne.

Die "a-priori Ratewahrscheinlichkeit" bezeichnet die Wahrscheinlichkeit, wenn die Wahrscheinlichkeit eines "Treffers", lediglich von der Anzahl der dargebotenen Antwortmöglichkeiten abhängt.

Heute gibt es häufig 5 Antwortmöglichkeiten (1 Lösung + 4 Distraktoren); dass heißt die Ratewahrscheinlichkeit beträgt dann 1/5 = 0,20.
Diese Ratewahrscheinlichkeit wird höher (bis zu 1/2), wenn die Person über ein moderates Fähigkeitsniveau verfügt.

Ein allfälliger Rateeffekt ist testtheoretisch am besten mit dem 3PL bzw. dem Difficulty-plus-Guessing PL-Modell in den Griff zu bekommen: Hier wird der gesuchte Personenparameter eben gerade unter Berücksichtigung der Item-Rateparameter geschätzt.
Die Chance, erfolgreich zu raten, wird also in den Testwert mit ein kalkuliert, es kommt zu einer fairen Verrechnung der Testleistung.

Eine weitere Möglichkeit den Rateeffekt zu minimieren, ist die Anzahl der Antwortmöglichkeiten extrem anzuhöhen - dies ist jedoch unpraktikabel. Eine weitere Möglichkeit ist zwei richtige Antwortmöglichkeiten vorzusehen (und die Antwort ist nur richtig wenn beide angekreuzt werden).
Beispiel mit 5 Antwortmöglichkeiten: (5/2) = 1/10 = 0,10.
Noch stärker lässt sich die a-priori-Ratewahrscheinlichkeit reduzieren, wenn beliebig viele der Antwortmöglichkeiten richtig oder falsch sein können, also sogar auch einmal gar keine oder auch alle.

Weiters gibt es die Möglichkeit mit besonderen Instruktionen oder Antwortmöglichkeiten die Tp vom Raten abzuhalten.
(Beispiel 3DW: 2 Antwortmöglichkeiten "Ich weiß die Lösung nicht" und "Kein Würfel richtig".)

Auch kann die Ratewahrscheinlichkeit durch das sequenzielle vorgeben der Antwortmöglichkeiten, im gegensatz zur parallelen Vorgabe erheblich reduziert werden.

Hier spricht man nicht von einem MC-Format sondern von einem Rating-Skala-Format.

Auch bei Persönlichkeitsfragebögen kann es dazu kommen, dass dabei Antworten zufällig zustande kommen, also eine der vorgegebenen Antwortmöglichkeiten von der Tp  nicht mit Bezug auf die zu messen gesuchte Eigenschaft gewählt werden - etwa wenn der Tp keine der vorgegebenen Antwortmöglichkeiten passend erscheint.

Insbesondere leistet das MC-Format bzw. Rating-Skala-Format bestimmten Antworttendenzen (Reponse-Sets) Vorschub, wie der Akquieszenz-Tendenz (Ja-Sage-Tendenz) oder der Tendenz zur Mitte.

Da eine offensichliche Entscheidung eine höhere diagnostische Information enthält als neutrale (mittlere) Antwortmöglichkeiten ist zu beachten ob die Verwendung eines Forced-Choice-Formats in Relation zum Risiko einer (subjektiven) Überforderung der Tp mit allen denkbaren Konsequenzen tatsächlich lohnt.
(Wird auf neutrale Antwortmöglichkeit verzichtet, soll es wenigstens mehrfach abstufende Antwortmöglichkeiten geben.)

Das "ist die Bezeichnung für alle jene Einflüsse, die sich durch bestimmte Antwortstereotypen der Testperson verfälschend auf die intendierte Dimension eines Tests auswirken.
Es werden zwei grundlegende Formen unterschieden:

• Formale Response Sets: durch spezielle Form der Antwortvorgabe bedingt.
• Inhaltliche Reponse Sets: verfälschende Antwort aufgrund spezifischen Inhalts eines Items oder Tests (defensive Einstellungen, soziale Erwünschtheit, Abweichungsreaktionen, Lügen)