Statistische Analyse der Ergebnisse

Diese Tabelle bereitet die Testergebnisse so auf, dass die Beurteilung der Fragen und ihrer Aussagekraft für den Test erleichtert wird. Die statistischen Parameter werden berechnet wie in der klassischen Testtheorie. (ref. 1)

Richtig % (Facility Index)

Dies ist ein Wert, der den Schwierigkeitsgrad für die Teilnehmer/innen bestimmt. Er errechnet sich aus:
FI = (X_average) / X_max
dabei ist X_average der mittlere Wert, der bei allen Teilnehmer/innen bei ihren Versuchen für diesen Wert erreicht wurde,
und X_max ist der höchste Wert, der hier erzielt wurde.
Bei Fragen mit der Option Richtig/Falsch stellt dieser Wert den Prozentteil der Nutzer mit richtigen Antworten dar.

SD (Standardabweichung, standard deviation)

Dieser Parameter stellt die Bandbreite der Antworten dar. Wenn alle Nutzer das Gleiche antworten, ist der Wert SD=0. SD wird ermittelt als statistische Standardabweichung für eine Reihe von Teilmengen (Erreicht/Maximum) zu jeder einzelnen Frage.

Unterscheidungswerte

DI (Discrimination Index)

Dies ist ein grober Indikator zur Unterscheidung von kompetenten vs. weniger kompetenten Nutzern/Nutzerinnen. Zunächst werden dazu die Teilnehmer/innen aufgrund ihrer Punktwerte in drei Gruppen aufgeteilt. Dann wird für jeden Wert der Durchschnitt für die Gruppe der Teilnehmer/innen mit den besten/schlechtesten Werten ermittelt und vom Durchschnitt abgezogen. Die Formel lautet:
DI = (X_top - X_bottom)/ N
Dabei ist X_top die Summe der Teilbereiche (Erreicht/Maximum), ermittelt aus den Werten des besten Drittels der Teilnehmer/innen im gesamten Test (z.B. Zahl der richtigen Antworten in der Gruppe),
und X_bottom) ist analog die Summe für die Teilnehmer/innen mit den schlechtesten Ergebnissen.

Der Parameter kann Werte zwischen +1 und -1 enthalten. Ein Index rund um den Wert 0.0 bedeutet, dass hier mehr von den schlechteren Teilnehmern richtige Ergebnisse erzielten als von den besseren. Man kann die entsprechenden Fragen folglich als wertlos ansehen, da sie u.U. die Aussagekraft des Tests mindern.

DC (Discrimination Coefficient)

Dies ist ein anderer Maßstab zur Unterscheidung starker und schwacher Teilnehmer/innen.
Der Discrimination Coefficient ist eine Beziehung zwischen den Punkten des einzelnen Wertes und des gesamten Tests.
Er berechnet sich wie folgt:
DC = Sum(xy)/ (N * s_x * s_y)
Dabei ist Sum(xy) die Summe der Produkte der Abweichungen des Einzelwertes und des gesamten Tests,
N ist die Zahl der Antworten, die bei der Frage gegeben wurde,
s_x ist die Standardabweichung der Teilpunkte für diese Frage,
s_y ist die Standardabweichung der Punkte beim gesamten Test.

Auch hier ergeben sich Werte zwischen +1 und -1. Positive Werte bezeichnen solche Fragen, bei denen im Gesamtergebnis gute Lerner auch überdurchschnittlich gute Werte erzielten. Negative Werte hingegen kennzeichnen Fragen, bei denen insgesamt schlechte Teilnehmer/innen durchschnittlich besser abschnitten als ansonsten gute Teilnehmer/innen. Solche Fragen sollten deshalb vermieden werden.

Der Nutzen des Discrimination Coefficient (DC) im Vergleich zum Discrimination Index (DI) liegt darin, dass alle Ergebnisse berücksichtigt werden und nicht nur das jeweils beste oder schlechteste Drittel der Ergebnisse. Damit ist dieser Wert für die Beurteilung der Eignung/Leistungsfähigkeit der Fragen aussagekräftiger.