유효한 결과를 얻으려면 데이터를 수집할 때 다음 지침을 따르십시오.
- 평가자가 표본을 랜덤 순서로 평가해야 합니다.
- 데이터 수집 순서가 결과에 영향을 미치지 않도록 하려면 각 평가자가 반복실험 내에서 모든 표본을 랜덤하게 평가해야 합니다. 모든 평가자가 모든 부품을 한 번 측정한 후 모든 반복실험에 대해 공정을 반복합니다.
- 각 표본에 대해 알려진 기준 등급이 있을 수 있습니다.
- 기준 값(마스터 값이라고도 함)은 표준 표본을 위한 알려진 정확한 등급입니다. 예를 들어, 알려진 정확한 날염 품질 등급의 표준 직물 표본이 있습니다. 이 표본을 평가자가 날염 품질의 등급을 정확하게 매기는지 평가하기 위해 사용합니다.
- 적절한 연구를 위해서는 50개 이상의 표본이 있어야 합니다.
- 적절한 합치도 추정치를 얻으려면 50개 이상의 표본이 필요합니다. 전체 공정 변동 범위에서 표본을 선택하십시오. 많은 표본으로 반복실험을 적게 하는 것이 적은 표본으로 반복실험을 많이 하는 것보다 좋습니다.
- 평가자가 각 표본을 두 번 이상 평가해야 합니다.
- 같은 표본을 일관성있게 평가하는 평가자의 능력을 평가하기 위해서는 각 평가자가 랜덤 순서로 2번 이상 각 품목의 등급을 매겨야 합니다.
- 반복실험은 중요하지만 지루할 수 있습니다. 리소스를 계획할 때는 많은 표본을 적은 횟수의 반복실험을 통해 랜덤 순서로 평가하는 것이 적은 표본을 많은 횟수의 반복실험을 통해 랜덤하지 않게 평가하는 것보다 좋습니다.
- 적절한 연구를 위해서는 3명 이상의 평가자가 있어야 합니다.
- 최상의 결과를 얻으려면 3 - 5명의 평가자를 연구에 포함하십시오. 측정 시스템을 사용하는 평가자의 수가 실제로 3명보다 적은 경우가 아니라면 연구에서 3명 미만의 평가자를 사용해서는 안 됩니다. 평가자 간에 큰 차이가 있는 것으로 의심될 경우 3 - 5명보다 많은 평가자를 사용하는 것을 고려해야 합니다. 한 평가자의 정확성이 다른 평가자들보다 낮은 경우와 같이 평가자 간의 차이가 확인되면 종종 교육을 통해 일관성을 개선할 수 있습니다.
- 측정 시스템을 사용하는 모든 평가자를 대표하는 평가자를 선택하십시오. 최적(또는 최악)의 평가자만 사용하여 연구를 수행할 경우 결과가 치우치고 평가자 간 차이에 대한 정확한 추정치를 제공하지 못하게 됩니다. 정확성을 보장하는 가장 좋은 방법은 연구의 평가자를 랜덤하게 선택하는 것입니다.
- 평가자가 각 범주에서 추출한 대략적으로 같은 수의 항목을 평가해야 합니다.
- 최상의 결과를 얻으려면 여러 범주에서 비슷한 수의 표본을 추출하여 평가자가 각 범주에서 추출된 표본의 등급을 정확하게 매기는지 평가해야 합니다. 한 범주에서 표본을 적게 추출할 경우 해당 범주에 대한 추정치의 정확도가 떨어질 수 있습니다.
- 반응값이 이항 데이터(예: 통과/실패, 예/아니요)인 경우 근소하게 허용되는 여러 개의 표본과 근소하게 허용되지 않는 여러 개의 표본이 필요합니다. 예를 들어, 통과하는 표본 중 합리적인 수의 표본이 간신히 통과합니다.
- 계수형 합치도 분석은 균형을 이루어야 합니다.
- 각 평가자가 각 표본을 같은 횟수만큼 평가해야 합니다.
