Wie werden die Erfolgsraten der Prüfungen ermittelt?

Damit eine Prüfung den strengen Standards der Testindustrie entspricht, darf die Mindestpunktzahl („Cut Score“) bzw. der notwendige Prozentsatz zum Bestehen nicht willkürlich gewählt werden. Bewertungen müssen auf einer Methode basieren, die die allgemeinen Testziele der Gültigkeit, Zuverlässigkeit und Fairness unterstützt. Letztendlich muss sie diejenigen, die die Anforderungen erfüllen, von denen unterscheiden, die diese nicht erfüllen.
​
Es gibt eine Reihe von Möglichkeiten, um die Mindestpunktzahl bzw. den notwendigen Prozentsatz zum Bestehen zu ermitteln, darunter Beta, Bookmarking und Angoff. Bei der Festlegung des anfänglichen „Cut Scores“ wendet Scaled Agile, Inc. einen modifizierten Angoff-Ansatz an, der sich an den Aufgaben orientiert, und überwacht dann die Prüfungsleistung, um die Zuverlässigkeit und Validität der festgelegten Punktzahl zu gewährleisten.
​
​Vorgehensweise:
Nachdem die Prüfungsfragen geschrieben und von einer Gruppe von Fachexperten (SMEs) überprüft wurden, wird jede Frage („Item“) auf der Grundlage der Gesamtdefinition der Prüfung für einen minimal qualifizierten Kandidaten bewertet. Dies umfasst in der Regel eine Kombination von Faktoren, einschließlich des angestrebten Kompetenzniveaus (Scaled Agile verwendet eine Skala von 1 bis 5, vergleichbar mit dem Dreyfus-Modell) sowie Kriterien für die Bewertung (p-value = 0 – 100).
​
Für den Angoff-Ansatz sind Kompetenzniveaus sowie die Definition eines minimal qualifizierten Kandidaten von entscheidender Bedeutung. Ein Prozentsatz bzw. „Cut Score“ in Höhe von 75 Prozent für die Kompetenzstufe 4 (Fortgeschrittene) unterscheidet sich deutlich von der Kompetenzstufe 2 (Anfänger). Diese Kompetenzstufe wird festgelegt, bevor die erste Prüfungsfrage überhaupt geschrieben wird. So wird die Konsistenz während des gesamten Prozesses gewährleistet.
​
Den Themenexpert/innen wird vor der Durchführung des Angoff-Ansatzes kein bestimmter „Cut Score“ vorgegeben. Aus den Punktzahlen bzw. Prozentsätzen selbst lässt sich der natürliche „Cut Score“ ablesen. Aus diesem Grund haben einige Scaled Agile-Prüfungen einen notwendigen Prozentsatz zum Bestehen von 75 Prozent und für andere liegt dieser bei 78 Prozent.
​
Themenexpert/innen sind für den Erfolg dieses Bewertungsverfahrens von entscheidender Bedeutung. Ohne ihre eigene Subjektivität oder Voreingenommenheit darüber einzubringen, was der/die Zielkandidat/in wissen würde und was er wissen sollte, müssen sie den/die Zielkandidat/in im Hinterkopf behalten. „Sollte“ deutet auf eine Voreingenommenheit hin. Die Themenexpert/innen bewerten die Aufgaben ohne Diskussion, und die Antworten auf die Fragen werden erst nach der Ergebniserfassung angezeigt. Würden die Antworten zur gleichen Zeit angezeigt werden, könnten die Ergebnisse dadurch beeinträchtigt werden. Alle Bewertungsbereiche, die größer als 30 sind, werden als Gruppe überprüft, und alle Anpassungen werden entsprechend vorgenommen.
​
​Datenbeispiele (Ausschnitt)

Nachdem eine Prüfung veröffentlicht wurde, sollte die Gesamtbestehensquote mit dem festgelegten „Cut Score“ bzw. mit dem notwendigen Prozentsatz zum Bestehen übereinstimmen. Wenn also der „Cut Score“ bei 75 % liegt, sollte die tatsächliche Gesamtbestehensquote um einige Prozentpunkte höher oder niedriger sein als 75 %. Eine regelmäßige Prüfungskontrolle ist Teil der standardmäßigen Prüfungswartung. Während dieses Überprüfungszeitraums werden Anpassungen an nicht funktionierenden Elementen vorgenommen.
​
Wenn Sie sich also fragen, wie hoch die derzeitig Gesamtbestehensquote einer Scaled Agile-Prüfung ist, werfen Sie einfach einen Blick auf den „Cut Score“!