Para que um exame atenda às rigorosas normas do setor de teste, uma pontuação de aprovação (pontuação de corte) não pode ser selecionada arbitrariamente. As pontuações devem ser baseadas em um método que dê suporte aos objetivos gerais de teste: validade, confiabilidade e justiça. Em última análise, deve diferenciar aqueles que atenderam aos padrões daqueles que não o fizeram.
Existem várias maneiras de estabelecer uma pontuação de aprovação usando princípios de definição de padrão, incluindo beta, Bookmark e Angoff. Ao definir a pontuação de corte inicial, a Scaled Agile, Inc. aplica uma abordagem centrada no item de Angoff modificado e, em seguida, monitora o desempenho do exame para garantir a confiabilidade e a validade da pontuação estabelecida.
Como funciona
Depois que as perguntas do exame são escritas e revisadas por um grupo de especialistas no assunto (SMEs), cada pergunta (item) é pontuada com base na definição geral do exame de um candidato minimamente qualificado. Isso normalmente compreende uma combinação de fatores, incluindo o nível de competência pretendido (o Scaled Agile usa uma escala de 1 a 5 semelhante ao Modelo de Dreyfus) e critérios para pontuação (valor p = 0 – 100).
Os níveis de competência e a definição de um candidato minimamente qualificado são essenciais para o processo de Angoff. Uma pontuação de corte de 75 por cento para um nível de habilidade 4 (avançado) é muito diferente de um nível de habilidade 2 (novato). Esse nível de habilidade é determinado antes mesmo de a primeira pergunta do exame ser escrita, garantindo consistência em todo o processo.
Os SMEs não recebem uma pontuação de corte predeterminada antes que o processo de Angoff ocorra. As próprias pontuações permitem que a pontuação de corte natural apareça. É por isso que alguns exames da Scaled Agile têm uma pontuação de corte de 75 por cento e outros, 78 por cento.
Os SMEs são essenciais para o sucesso deste processo de pontuação. Sem introduzir sua própria subjetividade ou propensão sobre o que o candidato-alvo saberia em comparação ao que ele deveria saber, os especialistas devem manter o candidato-alvo em mente. Deveria indica um viés. Os SMEs pontuam os itens sem qualquer discussão e as respostas às perguntas são fornecidas somente após as pontuações serem registradas. Fornecer as respostas ao mesmo tempo tende a distorcer as pontuações. Quaisquer faixas de pontuação maiores que 30 são revisadas de forma agrupada e quaisquer ajustes são feitos de acordo.
Dados de amostra – parcial
Item | SME 1 | SME 2 | SME 3 | SME 4 | SME 5 | SME 6 | SME 7 | Angoff médio | Máx. | Mín. | Delta | Status (>30, verificação) |
456.1.1.1 | 80 | 90 | 70 | 90 | 90 | 90 | 90 | 86 | 90 | 70 | 20 | - |
456.1.1.2 | 90 | 90 | 80 | 75 | 90 | 60 | 90 | 82 | 90 | 75 | 15 | - |
456.1.1.4 | 85 | 70 | 90 | 70 | 80 | 70 | 50 | 74 | 90 | 50 | 40 | VERIFICAÇÃO |
456.1.1.5 | 60 | 60 | 70 | 60 | 60 | 60 | 70 | 63 | 70 | 60 | 10 | - |
456.1.1.7 | 50 | 70 | 50 | 45 | 60 | 50 | 70 | 56 | 70 | 45 | 25 | - |
456.1.1.8 | 90 | 90 | 95 | 80 | 80 | 80 | 80 | 85 | 95 | 80 | 15 | - |
456.1.2.1 | 95 | 70 | 70 | 60 | 90 | 80 | 70 | 76 | 95 | 60 | 35 | VERIFICAÇÃO |
Média > | 79 | 77 | 75 | 69 | 79 | 70 | 74 | 75 |
|
|
|
|
Depois que um exame é publicado, a taxa geral de aprovação deve acompanhar a pontuação de corte estabelecida. Portanto, se a pontuação de corte for definida em 75 por cento, a taxa de aprovação real deve ser mais ou menos alguns pontos percentuais de 75 por cento. A revisão do exame em serviço faz parte da manutenção padrão do exame. Durante este período de revisão, são feitos ajustes para itens sem desempenho.
Portanto, se você está se perguntando qual é a taxa de aprovação atual em um exame da Scaled Agile, basta olhar para a pontuação de corte!