Pour qu'un examen soit conforme aux normes rigoureuses du secteur des tests, la score de passage (point de coupure) ne peut être choisie de manière arbitraire. Les scores doivent être basés sur une méthode qui soutient les objectifs généraux du test, à savoir la validité, la fiabilité et l'équité. En fin de compte, elle doit distinguer ceux qui ont répondu aux normes de ceux qui ne les ont pas respectées.
Il existe plusieurs façons d'établir un score de passage en utilisant les principes de normalisation, notamment le bêta, les marqueurs et Angoff. Lors de l'établissement du point de coupure initial, Scaled Agile, Inc. applique une approche centrée sur l'item Angoff modifié et surveille ensuite la performance de l'examen pour assurer la fiabilité et la validité du score établie.
Fonctionnement
Après que les questions d'examen aient été rédigées et révisées par un groupe d'experts métier (SME), chaque question (items) est notée sur la base de la définition globale de l'examen d'un candidat au minimum qualifié. Cela comprend généralement une combinaison de facteurs, dont le niveau de compétence visé (Scaled Agile utilise une échelle de 1 à 5 similaire au modèle de Dreyfus) et les critères de notation (valeur p = 0 - 100).
Les niveaux de compétence, et la définition d'un candidat au minimum qualifié, sont essentiels au processus Angoff. Un point de coupure de 75 % pour un niveau de compétence 4 (avancé) est très différent d'un niveau de compétence 2 (novice). Ce niveau de compétence est déterminé avant même que la première question d'examen ne soit rédigée, ce qui permet de garantir une cohérence tout au long du processus.
Les SME ne bénéficient pas de points de coupure prédéterminés avant que le processus Angoff n'ait lieu. Les scores eux-mêmes permettent de faire émerger le point de coupure naturel. C'est pourquoi certains examens Scaled Agile ont un point de coupure de 75 % et d'autres de 78 %.
Les SME sont essentiels au succès de ce processus de notation. Sans apporter leur propre subjectivité ou parti pris sur ce que le candidat cible saurait comparativement à ce qu'ils devraient savoir, ils devront garder le candidat cible à l'esprit. Cela devrait indiquer un parti pris. Les SME notent les items sans aucune discussion, et les réponses aux questions ne sont fournies qu'après l'enregistrement des scores. Fournir les réponses en même temps a tendance à fausser les scores. Toutes les fourchettes de score supérieures à 30 sont examinées en tant que groupe et toute modification est effectuée en conséquence.
Données échantillons - partielles
Items | SME #1 | SME #2 | SME #3 | SME #4 | SME #5 | SME #6 | SME #7 | Moyenne Angoff | Max | Min | Delta | Statut (>30, vérifier) |
456.1.1.1 | 80 | 90 | 70 | 90 | 90 | 90 | 90 | 86 | 90 | 70 | 20 | - |
456.1.1.2 | 90 | 90 | 80 | 75 | 90 | 60 | 90 | 82 | 90 | 75 | 15 | - |
456.1.1.4 | 85 | 70 | 90 | 70 | 80 | 70 | 50 | 74 | 90 | 50 | 40 | VÉRIFIER |
456.1.1.5 | 60 | 60 | 70 | 60 | 60 | 60 | 70 | 63 | 70 | 60 | 10 | - |
456.1.1.7 | 50 | 70 | 50 | 45 | 60 | 50 | 70 | 56 | 70 | 45 | 25 | - |
456.1.1.8 | 90 | 90 | 95 | 80 | 80 | 80 | 80 | 85 | 95 | 80 | 15 | - |
456.1.2.1 | 95 | 70 | 70 | 60 | 90 | 80 | 70 | 76 | 95 | 60 | 35 | VÉRIFIER |
Moyenne > | 79 | 77 | 75 | 69 | 79 | 70 | 74 | 75 |
|
|
|
|
Après la publication d'un examen, le taux de réussite global devrait correspondre au point de coupure établi. Par conséquent, si le point de coupure est fixé à 75 %, le taux de réussite réel devrait se situer à plus ou moins 75 %. Une révision de l'examen en cours de service fait partie de la maintenance standard de l'examen. Au cours de cette période de révision, des ajustements sont apportés aux items non performants.
Ainsi, si vous vous demandez quel est le taux de réussite actuel d'un examen Scaled Agile, il suffit de regarder le point de coupure !