結果が有効であることを保証するために、データを収集するときには次のガイドラインについて考慮します。
- 検査者はランダムな順序でサンプルを評価する必要がある
- データ収集の順序が結果に影響を及ぼさないようにするため、各検査者は反復内ですべてのサンプルをランダムに評価する必要があります。すべての検査者がすべてのサンプルを1回評価した後に、すべての反復について工程を繰り返します。
- 各評価に対して既知の参照評価を設定できる
- 参照値（マスター値）とは、標準サンプルの既知の正しい評価です。たとえば、正しいプリント品質評価が既知の標準布地サンプルのセットがあるとします。これらのサンプルを使用して、検査者がプリント品質を正しく評価する能力を評価できます。
- 適切に分析を行うためには少なくとも50個のサンプルが必要である
- 適切な一致性の推定値を得るためには、少なくとも50個のサンプルが必要です。工程変動範囲全体からサンプルを選択します。サンプル数が少なく反復数が多いよりも、サンプル数が多く反復数が少ない方が望ましいです。
- 検査者は各サンプルを少なくとも2回評価する必要がある
- 検査者が同じサンプルを評価する時の一貫性を評価するために、各検査者は各サンプルをランダムな順序で2回以上評価する必要があります。
- 反復は重要ですが、面倒な場合もあります。リソースを計画するときには、少ないサンプルを反復数を多くしてランダムではない順序で評価するよりも、多くのサンプルを反復数を少なくしてランダムな順序で評価する方がよいことを覚えておいてください。
- 適切に分析を行うためには少なくとも3人の検査者が必要である
- 最適な結果を得るには、分析に3～5人の検査者を含めます。実際に測定システムを使用する検査者が3人未満である場合を除き、分析に含める検査者を3人未満にしないようにする必要があります。検査者間に大きな違いがある可能性がある場合には、3～5人よりさらに多くの検査者を使用することを検討します。他の検査者よりも正確性が劣る検査者など、検査者間の差を特定したら、多くの場合はトレーニングで一貫性を向上できます。
- 測定システムを使用するすべての検査者を代表するように検査者を選択します。最も優秀（または未熟）な検査者のみで分析を行うと、結果が偏ったものになり、検査者間の差を正確に推定できません。正確性を確保する最良な方法は、分析用の検査者をランダムに選択することです。
- 検査者は各カテゴリからほぼ同じ数のサンプルを評価する必要がある
- 最適な結果を得るには、検査者が各カテゴリからのサンプルを同じ正確性で評価できるかどうかを評価するために、カテゴリが偏りなく適度に混在しているサンプルを使用する必要があります。1つのカテゴリからのサンプルの割合が小さい場合、そのカテゴリに対する推定は正確性が低くなる可能性があります。
- 応答が2値（合格/不合格、はい/いいえなど）の場合、いくつかの辛うじて許容されるサンプルといくつかの辛うじて許容されないサンプルが必要です。たとえば、合格するサンプルのうちの妥当な数のサンプルはぎりぎりで合格のものにする必要があります。
- 属性の一致性分析はバランス型である必要がある
- 各検査者は、各サンプルを同じ回数評価する必要があります。
