要确定每位检验员评级的一致性,请评估“检验员自身”图。对于每位检验员,将匹配百分比(蓝圈)与匹配百分比的置信区间(红线)进行比较。
要确定每位检验员评级的正确性,请评估“每位检验员与标准”图。对于每位检验员,将匹配百分比(蓝圈)与匹配百分比的置信区间(红线)进行比较。
仅当存在多个试验时,Mnitab 才会显示“检验员自身”图。
此“检验员自身”图显示 Amanda 的评级一致性最高,Eric 的评级一致性最低。“检验员与标准”图显示 Amanda 的评级正确性最高,Eric 的评级正确性最低。
要确定每位评估员评级的一致性,请评估“评估员自身”表格中的 kappa 统计数据。如果是顺序评级,您还应评估 Kendall 的一致性系数。Minitab 会在每位评估员对一个项目评估多次时显示评估员自身表格。
当多位评估员评估相同的样本时,可使用 kappa 统计数据评估由多位评估员给出的名义或顺序评级的一致程度。
AIAG 建议,kappa 最小值为 0.75 时表示一致性良好。但是 kappa 值越大越好,例如 0.90。
当进行顺序评级时(比如按 1 到 5 个等级对缺陷严重性进行评定),可说明排序因素的 Kendall 系数通常比单独使用 kappa 更适合用来确定关联度。
切记,“评估员自身”表格可表示评估员的评级是否一致,但无法表示评级是否与参考值一致。一致的评级不一定是正确的评级。
多个 kappa 值为 1,表示评估员自身对多次试验的评级完全一致。Eric 的部分 kappa 值接近 0.70。您可能需要研究 Eric 对这些样本的评级为何不一致。由于这些数据是顺序响应,因此 Minitab 会提供 Kendall 的一致性系数值。这些值全都大于 0.98,表示评估员自身评级的关联度很高。
要确定每位评估员评级的正确性,请评估“每位评估员与标准”表格中的 kappa 统计数据。如果是顺序评级,您还应评估 Kendall 的相关系数。Minitab 会在您指定每个样本的参考值时显示“每位评估员与标准表格”。
当多位评估员评估相同的样本时,可使用 kappa 统计数据评估由多位评估员给出的名义或顺序评级的一致程度。
AIAG 建议,kappa 最小值为 0.75 时表示一致性良好。但是 kappa 值越大越好,例如 0.90。
当进行顺序评级时(比如按 1 到 5 个等级对缺陷严重性进行评定),可说明排序因素的 Kendall 系数通常比单独使用 kappa 更适合用来确定关联度。
大部分 kappa 值大于 0.80,表示每位评估员与标准之间的一致性良好。少数 kappa 值接近 0.70,表示您可能需要进一步研究某些样本或某些评估员。由于这些数据是顺序响应,因此 Minitab 会提供 Kendall 的相关系数。这些值的范围为 0.951863 到 0.975168,这表示评级和标准值之间的关联度很高。
要确定评估员评级之间的一致性,请评估“评估员之间”表格中的 kappa 统计数据。如果是顺序评级,您还应评估 Kendall 的一致性系数。
当多位评估员评估相同的样本时,可使用 kappa 统计数据评估由多位评估员给出的名义或顺序评级的一致程度。
AIAG 建议,kappa 最小值为 0.75 时表示一致性良好。但是 kappa 值越大越好,例如 0.90。
当进行顺序评级时(比如按 1 到 5 个等级对缺陷严重性进行评定),可说明排序因素的 Kendall 系数通常比单独使用 kappa 更适合用来确定关联度。
切记,“评估员之间”表格可表示评估员的评级是否一致,但无法表示评级是否与参考值一致。一致的评级不一定是正确的评级。
所有 kappa 值都大于 0.77,表示评估员之间的一致性接受程度最低。评估员对样本 1 和 5 的评估一致性最高,样本 3 的一致性最低。由于这些数据是顺序响应,因此 Minitab 会提供 Kendall 一致性系数 (0.976681),这表示评估员评级之间的关联度很高。
要确定所有评估员评级的正确性,请评估“所有评估员与标准”表格中的 kappa 统计数据。如果是顺序评级,您还应评估 Kendall 的一致性系数。
当多位评估员评估相同的样本时,可使用 kappa 统计数据评估由多位评估员给出的名义或顺序评级的一致程度。
AIAG 建议,kappa 最小值为 0.75 时表示一致性良好。但是 kappa 值越大越好,例如 0.90。
当进行顺序评级时(比如按 1 到 5 个等级对缺陷严重性进行评定),可说明排序因素的 Kendall 系数通常比单独使用 kappa 更适合用来确定关联度。
这些结果显示,所有评估员对 50 个样本中的 37 个的标准评级是正确匹配的。整体的 kappa 值为 0.912082,表示标准值的一致性很强。由于这些数据是顺序响应,因此 Minitab 会提供 Kendall 的一致性系数 (0.965563),这表示评级和标准值之间的关联度很高。