关于本主题
步骤 1：以直观方式评估检验员一致性
要确定每位检验员评级的一致性，请评估“检验员自身”图。对于每位检验员，将匹配百分比（蓝圈）与匹配百分比的置信区间（红线）进行比较。
要确定每位检验员评级的正确性，请评估“每位检验员与标准”图。对于每位检验员，将匹配百分比（蓝圈）与匹配百分比的置信区间（红线）进行比较。
注意
仅当存在多个试验时，Mnitab 才会显示“检验员自身”图。
此“检验员自身”图显示 Amanda 的评级一致性最高，Eric 的评级一致性最低。“检验员与标准”图显示 Amanda 的评级正确性最高，Eric 的评级正确性最低。
第 2 步：评估每位评估员的响应的一致性
要确定每位评估员评级的一致性，请评估“评估员自身”表格中的 kappa 统计数据。如果是顺序评级，您还应评估 Kendall 的一致性系数。Minitab 会在每位评估员对一个项目评估多次时显示评估员自身表格。
当多位评估员评估相同的样本时，可使用 kappa 统计数据评估由多位评估员给出的名义或顺序评级的一致程度。
- Kappa = 1 时，表明完全一致。
- Kappa = 0 时，则一致性与偶然预期的相同。
- Kappa < 0 时，一致性比偶然预期的还要弱，不过这种情况很少发生。
AIAG 建议，kappa 最小值为 0.75 时表示一致性良好。但是 kappa 值越大越好，例如 0.90。
当进行顺序评级时（比如按 1 到 5 个等级对缺陷严重性进行评定），可说明排序因素的 Kendall 系数通常比单独使用 kappa 更适合用来确定关联度。
注意
切记，“评估员自身”表格可表示评估员的评级是否一致，但无法表示评级是否与参考值一致。一致的评级不一定是正确的评级。
检验员自身
重要结果：Kappa、Kendall 的一致性系数
多个 kappa 值为 1，表示评估员自身对多次试验的评级完全一致。Eric 的部分 kappa 值接近 0.70。您可能需要研究 Eric 对这些样本的评级为何不一致。由于这些数据是顺序响应，因此 Minitab 会提供 Kendall 的一致性系数值。这些值全都大于 0.98，表示评估员自身评级的关联度很高。
第 3 步：评估每位评估员的响应的正确性
要确定每位评估员评级的正确性，请评估“每位评估员与标准”表格中的 kappa 统计数据。如果是顺序评级，您还应评估 Kendall 的相关系数。Minitab 会在您指定每个样本的参考值时显示“每位评估员与标准表格”。
当多位评估员评估相同的样本时，可使用 kappa 统计数据评估由多位评估员给出的名义或顺序评级的一致程度。
- Kappa = 1 时，表明完全一致。
- Kappa = 0 时，则一致性与偶然预期的相同。
- Kappa < 0 时，一致性比偶然预期的还要弱，不过这种情况很少发生。
AIAG 建议，kappa 最小值为 0.75 时表示一致性良好。但是 kappa 值越大越好，例如 0.90。
当进行顺序评级时（比如按 1 到 5 个等级对缺陷严重性进行评定），可说明排序因素的 Kendall 系数通常比单独使用 kappa 更适合用来确定关联度。
每个检验员与标准
重要结果：Kappa、Kendall 的相关系数
大部分 kappa 值大于 0.80，表示每位评估员与标准之间的一致性良好。少数 kappa 值接近 0.70，表示您可能需要进一步研究某些样本或某些评估员。由于这些数据是顺序响应，因此 Minitab 会提供 Kendall 的相关系数。这些值的范围为 0.951863 到 0.975168，这表示评级和标准值之间的关联度很高。
第 4 步：评估评估员之间的响应的一致性
要确定评估员评级之间的一致性，请评估“评估员之间”表格中的 kappa 统计数据。如果是顺序评级，您还应评估 Kendall 的一致性系数。
当多位评估员评估相同的样本时，可使用 kappa 统计数据评估由多位评估员给出的名义或顺序评级的一致程度。
- Kappa = 1 时，表明完全一致。
- Kappa = 0 时，则一致性与偶然预期的相同。
- Kappa < 0 时，一致性比偶然预期的还要弱，不过这种情况很少发生。
AIAG 建议，kappa 最小值为 0.75 时表示一致性良好。但是 kappa 值越大越好，例如 0.90。
当进行顺序评级时（比如按 1 到 5 个等级对缺陷严重性进行评定），可说明排序因素的 Kendall 系数通常比单独使用 kappa 更适合用来确定关联度。
注意
切记，“评估员之间”表格可表示评估员的评级是否一致，但无法表示评级是否与参考值一致。一致的评级不一定是正确的评级。
检验员之间
重要结果：Kappa、Kendall 的一致性系数
所有 kappa 值都大于 0.77，表示评估员之间的一致性接受程度最低。评估员对样本 1 和 5 的评估一致性最高，样本 3 的一致性最低。由于这些数据是顺序响应，因此 Minitab 会提供 Kendall 一致性系数 (0.976681)，这表示评估员评级之间的关联度很高。
第 5 步：评估所有评估员的响应的正确性
要确定所有评估员评级的正确性，请评估“所有评估员与标准”表格中的 kappa 统计数据。如果是顺序评级，您还应评估 Kendall 的一致性系数。
当多位评估员评估相同的样本时，可使用 kappa 统计数据评估由多位评估员给出的名义或顺序评级的一致程度。
- Kappa = 1 时，表明完全一致。
- Kappa = 0 时，则一致性与偶然预期的相同。
- Kappa < 0 时，一致性比偶然预期的还要弱，不过这种情况很少发生。
AIAG 建议，kappa 最小值为 0.75 时表示一致性良好。但是 kappa 值越大越好，例如 0.90。
当进行顺序评级时（比如按 1 到 5 个等级对缺陷严重性进行评定），可说明排序因素的 Kendall 系数通常比单独使用 kappa 更适合用来确定关联度。
所有检验员与标准
重要结果：Kappa、Kendall 的一致性系数
这些结果显示，所有评估员对 50 个样本中的 37 个的标准评级是正确匹配的。整体的 kappa 值为 0.912082，表示标准值的一致性很强。由于这些数据是顺序响应，因此 Minitab 会提供 Kendall 的一致性系数 (0.965563)，这表示评级和标准值之间的关联度很高。
