시험이 엄격한 테스트 업계 표준을 준수하도록 하기 위해 통과 점수(커트라인 점수)는 임의로 선택할 수 없습니다. 점수는 타당성, 신뢰성 및 공정성이라는 전체 테스팅 목표를 지원하는 방법에 따라야 합니다. 결국, 표준을 준수하는 사람과 준수하지 않는 사람을 구별해야 합니다.
베타, 북마킹, Angoff를 비롯한 표준 설정 원칙을 사용하여 통과 점수를 설정하는 다양한 방법이 있습니다. 초기 커트라인 점수를 설정할 때 Scaled Agile, Inc.는 수정된 Angoff 문항 중심 방법을 사용한 다음, 시험 성적을 모니터링하여 정해진 점수에서 신뢰성과 타당성을 확인합니다.
작동 방법
시험 질문을 작성하여 주제 전문가(SME) 그룹에서 검토한 후, 최소한의 자격을 갖춘 지원자의 시험에 대한 전체 완료 기준에 따라 각 질문(문항)의 점수를 매깁니다. 이 기준은 일반적으로 목표 역량 수준(Scaled Agile은 Dreyfus 모델과 유사한 1 ~ 5척도 사용)과 채점 기준(p-value = 0 – 100)을 포함한 요소의 조합으로 이루어집니다.
역량 수준 및 최소한의 자격을 갖춘 지원자의 완료 기준은 Angoff 프로세스에서 매우 중요합니다. 기술 수준 4(고급)에 대한 75% 커트라인 점수는 기술 수준 2(초보자)와 크게 다릅니다. 이 기술 수준은 첫 번째 시험 질문을 작성하기 전에 결정되어 프로세스 전체에서 일관되게 사용됩니다.
Angoff 프로세스를 수행하기 전에 미리 결정된 커트라인 점수는 SME에게 제공되지 않습니다. 이러한 점수 자체는 정상적인 커트라인 점수로 판단될 수 있습니다. 일부 Scaled Agile 시험은 커트라인 점수가 75%이고 다른 시험은 78%이기 때문입니다.
SME는 이 채점 프로세스의 성공에서 매우 중요합니다. 그들은 대상 지원자가 알고 있는 것과 알아야 할 것에 대한 자신들의 주관적 해석 또는 편파성 없이 대상 지원자를 생각해야 합니다. 알아야 할 것이 편파성을 나타냅니다. SME는 어떠한 논의 없이 질문을 채점하며, 질문에 대한 답안은 점수를 기록한 이후까지 공개하지 않습니다. 답안을 동시에 제공하면 편파성을 가지고 점수를 매길 수 있습니다. 30점보다 높은 범위의 점수는 그룹으로 검토되어 적절하게 조정됩니다.
샘플 데이터 – 부분
문항 | SME #1 | SME #2 | SME #3 | SME #4 | SME #5 | SME #6 | SME #7 | 평균 Angoff | 최고 | 최저 | 편차 | 상태 (>30, 체크) |
456.1.1.1 | 80 | 90 | 70 | 90 | 90 | 90 | 90 | 86 | 90 | 70 | 20 | - |
456.1.1.2 | 90 | 90 | 80 | 75 | 90 | 60 | 90 | 82 | 90 | 75 | 15 | - |
456.1.1.4 | 85 | 70 | 90 | 70 | 80 | 70 | 50 | 74 | 90 | 50 | 40 | 체크 |
456.1.1.5 | 60 | 60 | 70 | 60 | 60 | 60 | 70 | 63 | 70 | 60 | 10 | - |
456.1.1.7 | 50 | 70 | 50 | 45 | 60 | 50 | 70 | 56 | 70 | 45 | 25 | - |
456.1.1.8 | 90 | 90 | 95 | 80 | 80 | 80 | 80 | 85 | 95 | 80 | 15 | - |
456.1.2.1 | 95 | 70 | 70 | 60 | 90 | 80 | 70 | 76 | 95 | 60 | 35 | 체크 |
평균 > | 79 | 77 | 75 | 69 | 79 | 70 | 74 | 75 |
|
|
|
|
시험이 게시된 후 전체 통과 비율은 정해진 커트라인 점수를 따라야 합니다. 따라서 커트라인 점수가 75%로 설정된 경우 실제 통과 비율은 75%에서 몇 퍼센트 안팎의 점수여야 합니다. 표준 시험 관리의 일환으로 시험 진행 중 검토가 진행됩니다. 이 검토 기간 동안 오답 문항에 대한 조정이 수행됩니다.
그러므로 Scaled Agile 시험의 현재 통과 비율이 궁금한 경우에는 커트라인 점수를 확인하십시오!