한 교육 평가 기관에서 표준화된 논술 시험을 평가하기 위해 5명의 평가자를 고용했습니다. 각 평가자는 교육을 완료하기 위해 표준 등급에 따라 일관성 있게 논술을 평가할 수 있어야 합니다. 각 평가자는 알려진 표준 등급이 있는 15개의 논술을 평가합니다.
표본 크기 15개는 적절한 계수형 합치도 분석을 위해서는 너무 작지만, Mintab에서 데이터 수집 워크시트를 생성하는 방법을 설명하기에는 적합합니다.
5명의 평가자가 한 번에 15개의 논술 답안지를 평가함으로써, 총 75번의 평가가 실시됩니다. 런 순서는 평가를 실시하는 순서를 나열합니다. 두진은 표본 2를 평가한 다음 표본 13을 평가합니다. 기본적으로, 런이 평가자 내에서 랜덤화되므로 평가자 1이 먼저 모든 표본을 평가하고 평가자 2가 두 번째로 표본을 평가하며, 이런 식으로 계속됩니다. 해진은 런 16으로 평가를 시작합니다. 평가 값은 C4에 기록되고 C5의 표준과 비교될 수 있습니다.
C1 | C2-T | C3-T | C4 | C5 |
---|---|---|---|---|
런 순서 | 표본 | 평가자 | 평가 | 표준 |
1 | 2 | 두진 | -1 | |
2 | 13 | 두진 | 2 | |
3 | 8 | 두진 | 0 | |
4 | 10 | 두진 | 1 | |
5 | 1 | 두진 | 2 | |
6 | 14 | 두진 | -1 | |
… | … | … | … |