試験業界の厳密な標準に適合するために、試験の合格スコア(最低スコア)は自由裁量で選択できないようになっています。スコアは、正当性、信頼性、そして公平性などの試験の総合的な目標を満たすような方式に基づいている必要があります。 最終的に、スコアは基準に到達している受験者と、到達していない受験者を区別できるものでなければなりません。
ベータ、ブックマーキング、Angoffなど、基準設定の原則を使用して合格スコアを決定する方法にはさまざまなものがあります。最初の最低スコアを設定する際に、Scaled Agile, IncはModified-Angoffの項目中心のアプローチを適用し、試験のパフォーマンスをモニターして、決定されたスコアの信頼性と正当性を確認します。
仕組みについて
試験問題が作成され、各項目の専門家(SME)によるレビューが実施されると、各問題(項目)に対して、試験に対する最低限の条件を満たす候補者の定義に基づきスコアが付けられます。このスコアは、通常はコンピテンシーの目標レベル(Scaled Agileでは、ドレイファスモデルに似た1~5のスケールを使用しています)やスコアの基準(p値 = 0 – 100)など、複数の要素を組み合わせて作成されています。
最低限の条件を満たす候補者の定義やコンピテンシーレベルは、Angoffプロセスにとって極めて重要です。上位75パーセントの最低スコアは、スキルレベル4(中級者)とスキルレベル2(初心者)とでは大幅に異なります。このスキルレベルは最初の試験問題が作成される前には決定され、プロセスを通じた一貫性を確保します。
Angoffプロセスが実施されるまで、SMEに対して事前に定義された最低スコアが通知されることはありません。スコア自体によって、最低スコアが自然と決定されることになります。これが、Scaled Agileの一部の試験の最低スコアは75パーセントであり、他の試験の最低スコアが78パーセントである理由です。
スコアの作成プロセスにおいて、SMEは非常に重要な役割を果たします。対象となる候補者が知っていると思われることと、知っているべきことについての主観や先入観を持ち込まないようにするために、SMEは目標となる候補者を念頭に置いておく必要があります。知っていると思われることは先入観を示します。SMEはディスカッションをせずにスコアを付け、問題の解答はスコアが記録された後まで提供されません。回答を同時に提供することは、スコアへの先入観の原因となる傾向があります。スコア範囲が30を超える場合はグループでレビューされ、調整が適宜実施されます。
サンプルデータ – 一部
項目 | SME番号1 | SME番号2 | SME番号3 | SME番号4 | SME番号5 | SME番号6 | SME番号7 | 平均Angoff | 最高 | 最低 | 差分 | ステータス(>30、チェック) |
456.1.1.1 | 80 | 90 | 70 | 90 | 90 | 90 | 90 | 86 | 90 | 70 | 20 | - |
456.1.1.2 | 90 | 90 | 80 | 75 | 90 | 60 | 90 | 82 | 90 | 75 | 15 | - |
456.1.1.4 | 85 | 70 | 90 | 70 | 80 | 70 | 50 | 74 | 90 | 50 | 40 | チェック |
456.1.1.5 | 60 | 60 | 70 | 60 | 60 | 60 | 70 | 63 | 70 | 60 | 10 | - |
456.1.1.7 | 50 | 70 | 50 | 45 | 60 | 50 | 70 | 56 | 70 | 45 | 25 | - |
456.1.1.8 | 90 | 90 | 95 | 80 | 80 | 80 | 80 | 85 | 95 | 80 | 15 | - |
456.1.2.1 | 95 | 70 | 70 | 60 | 90 | 80 | 70 | 76 | 95 | 60 | 35 | チェック |
平均> | 79 | 77 | 75 | 69 | 79 | 70 | 74 | 75 |
|
|
|
|
試験が公開されたら、決定された最低スコアを使用して全体的な合格率を追跡する必要があります。したがって、最低スコアが75パーセントである場合、実際の合格率は75パーセントの上下数ポイントになるはずです。実施中の試験をレビューすることは、試験の標準的なメンテナンスの一部です。レビュー期間中に、実施されていない項目に対する調整が実施されます。
つまり、現時点でのScaled Agile試験の合格率を知りたい場合は、最低スコアを見ればよいということになります。
