Para que un examen cumpla los rigurosos estándares de evaluación de la industria, es fundamental que el puntaje de aprobación no se establezca de forma arbitraria. Los puntajes se deben establecer con métodos con respalden los objetivos generales de la evaluación que incluyen validación, fiabilidad e imparcialidad. En última instancia, debe determinar quiénes cumplen con los estándares y quiénes no.
Existen varias formas de establecer el puntaje de aprobación mediante principios normativos como los métodos de evaluación Beta, Bookmarking y Angoff. Para establecer el puntaje de aprobación inicial, Scaled Agile, Inc. aplica el enfoque Angoff modificado enfocado en los elementos, y luego evalúa el desempeño del examen para garantizar que el puntaje establecido sea confiable y válido.
Cómo funciona
Luego de que un grupo de especialistas en un tema (SME) redacta y revisa las preguntas del examen, cada pregunta (elemento) se califica en base a la definición general de un candidato que cumple los requisitos mínimos para aprobar el examen. Para ello se suele utilizar una combinación de factores que incluye el nivel de competencia esperado (Scaled Agile usa una escala de 1 a 5 similar a la del modelo Dreyfus) y el criterio para evaluar (valor p = 0 – 100).
Los niveles de competencia y la definición de un candidato que cumple los requisitos mínimos para aprobar son fundamentales para el proceso Angoff. No es lo mismo un puntaje de aprobación del 75 % para un nivel de habilidades 4 (avanzado) que para un nivel de habilidades 2 (novato). Se determina este nivel de habilidades antes de escribir la primera pregunta del examen, a fin de asegurar que todo el proceso sea uniforme.
Los SME no reciben un puntaje de aprobación predeterminado antes de que comience el proceso Angoff. Los puntajes por sí mismos permiten determinar el puntaje de aprobación. Por eso, algunos exámenes de Scaled Agile tienen un puntaje de aprobación del 75 % y otros del 78 %.
Los SME son fundamentales dentro de este proceso de evaluación. Sin ser subjetivos ni parciales sobre lo que el candidato objetivo sabe en comparación con lo que debería saber, deben tener en mente al candidato objetivo. Debería indica un sesgo. Los SME asignan un puntaje a los elementos sin discusión y no se comparten las respuestas a esas preguntas hasta después de que se registren los puntajes. Brindar las respuestas a la vez suele generar puntajes sesgados. Todos los rangos de puntaje superiores a 30 se revisan en grupo y se realizan los ajustes correspondientes.
Muestra - parcial
Elemento | SME n.° 1 | SME n.° 2 | SME n.° 3 | SME n.° 4 | SME n.° 5 | SME n.° 6 | SME n.° 7 | Angoff promedio | Máx | Mín | Delta | Estado (>30, revisar) |
456.1.1.1 | 80 | 90 | 70 | 90 | 90 | 90 | 90 | 86 | 90 | 70 | 20 | - |
456.1.1.2 | 90 | 90 | 80 | 75 | 90 | 60 | 90 | 82 | 90 | 75 | 15 | - |
456.1.1.4 | 85 | 70 | 90 | 70 | 80 | 70 | 50 | 74 | 90 | 50 | 40 | REVISAR |
456.1.1.5 | 60 | 60 | 70 | 60 | 60 | 60 | 70 | 63 | 70 | 60 | 10 | - |
456.1.1.7 | 50 | 70 | 50 | 45 | 60 | 50 | 70 | 56 | 70 | 45 | 25 | - |
456.1.1.8 | 90 | 90 | 95 | 80 | 80 | 80 | 80 | 85 | 95 | 80 | 15 | - |
456.1.2.1 | 95 | 70 | 70 | 60 | 90 | 80 | 70 | 76 | 95 | 60 | 35 | REVISAR |
Average > | 79 | 77 | 75 | 69 | 79 | 70 | 74 | 75 |
|
|
|
|
Luego de que se publica un examen, la calificación general de aprobación debe coincidir con el puntaje de aprobación establecido. Por lo tanto, si el puntaje de aprobación está establecido en el 75 %, la calificación de aprobación real debe ser unos puntos mayor o menor al 75 %. El mantenimiento estándar del examen incluye una revisión del examen en servicio. Durante ese período de revisión, se realizan ajustes en los elementos que tienen un mal desempeño.
Entonces, si quiere saber cuál es la calificación de aprobación actual de un examen de Scaled Agile, ¡solo debe buscar el puntaje de aprobación!