属性一致性分析示例

一家纺织品印染公司的织物检验员为棉织物的印染质量评级,等级范围为 1 至 5 级。质量工程师想评估这些印染质量评级的一致性和正确性。该工程师让四位检验员对 50 件织物样本进行印染质量评级(按随机顺序)。

因为这些数据包含每个样本的已知标准,所以质量工程师可以评估与标准以及其他检验员相对比的评级一致性和正确性。

  1. 打开样本数据 织物印刷质量.MTW.
  2. 选择统计 > 质量工具 > 属性一致性分析
  3. 数据排列为中,选择属性列,然后输入响应
  4. 样本中,输入样本
  5. 检验员中,输入检验员
  6. 已知标准/属性中,输入标准
  7. 选择属性数据的类别是有序的
  8. 单击确定

解释结果

检验员自身表
因为每位检验员为每个样本提供两个或两个以上评级,所以工程师可评估每位检验员的一致性。
所有检验员的匹配率都不错,Amanda 的匹配率最高 (100%),Eric 的最低 (86%)。
在 α = 0.05 的情况下,对于所有的检验员和所有的响应,Fleiss 的 kappa 统计量的 p 值为 0.0000。因此,工程师否定原假设(一致性只是出于偶然)。
由于此示例具有顺序评级,因此工程师会检查 Kendall 一致性系数。对于所有的检验员,Kendall 一致性系数介于 0.98446 和 1.000 之间,这表明一致性水平较高。
“每位检验员与标准”表
因为每个样本均具有一个已知标准,所以工程师可评估每位检验员评级的准确性和一致性。
每位检验员评定了 50 个织物样本的等级(检验数)。Amanda 在试验中正确判断了 47 个样本(匹配数),匹配率为 94%。Eric 在试验中正确判断了 41 个样本,匹配率为 82%。
在 α = 0.05 的情况下,对于所有检验员与所有响应,Fleiss 的 kappa 的 p 值为 0.0000。因此,工程师否定原假设(一致性只是出于偶然)。
所有检验员的 Kendall 相关系数介于 0.951863 和 0.975168 之间,这确认了与标准的一致性较高。
“检验员之间”表
“检验员之间”表显示了检验员就 50 个样本中 37 个样本的评级进行商定。
整体 kappa 值为 0.881705 表示不同检验员所提供评级之间的绝对一致性较高。Kendall 一致性系数为 0.976681 确认了这一较强的关联。
检验员之间的统计量不会将检验员的评级与标准进行比较。尽管检验员的评级可能一致,但是这些统计量不会表明评级是否正确。
“所有检验员与标准”表
因为每个样本有已知标准,所以工程师可评估所有检验员评级的准确性。
检验员将所有检验员评估的 50 个评级中的 37 个评级与已知标准进行匹配,匹配率为 74.0%。
整体 kappa 值为 0.912082 表示不同检验员所提供评级之间的一致性较高,并且这些评级与标准的一致性也很高。Kendall 一致性系数为 0.965563 确认了这一较强的关联。
“所有检验员与标准”统计量的确会对检验员的评级与标准进行比较。工程师可以断定不同检验员的评级一致而且正确。
注意

虽然输出中的 p 值 0.0000 已进行取整, 但是您可以放心地断定 p 值非常低而且小于 0.00005。

响应 的属性一致性分析

检验员自身

评估一致性 # 检 # 相 检验员 验数 符数 百分比 95% 置信区间 Amanda 50 50 100.00 (94.18, 100.00) Britt 50 48 96.00 (86.29, 99.51) Eric 50 43 86.00 (73.26, 94.18) Mike 50 45 90.00 (78.19, 96.67) # 相符数: 检验员在多个试验之间,他/她自身标准一致。
Fleiss 的 Kappa 统计量 检验员 响应 Kappa Kappa 标准误 Z P(与 > 0) Amanda 1 1.00000 0.141421 7.0711 0.0000 2 1.00000 0.141421 7.0711 0.0000 3 1.00000 0.141421 7.0711 0.0000 4 1.00000 0.141421 7.0711 0.0000 5 1.00000 0.141421 7.0711 0.0000 整体 1.00000 0.071052 14.0741 0.0000 Britt 1 1.00000 0.141421 7.0711 0.0000 2 0.89605 0.141421 6.3360 0.0000 3 0.86450 0.141421 6.1129 0.0000 4 1.00000 0.141421 7.0711 0.0000 5 1.00000 0.141421 7.0711 0.0000 整体 0.94965 0.071401 13.3002 0.0000 Eric 1 0.83060 0.141421 5.8733 0.0000 2 0.84000 0.141421 5.9397 0.0000 3 0.70238 0.141421 4.9666 0.0000 4 0.70238 0.141421 4.9666 0.0000 5 1.00000 0.141421 7.0711 0.0000 整体 0.82354 0.071591 11.5034 0.0000 Mike 1 1.00000 0.141421 7.0711 0.0000 2 0.83060 0.141421 5.8733 0.0000 3 0.81917 0.141421 5.7924 0.0000 4 0.86450 0.141421 6.1129 0.0000 5 0.86450 0.141421 6.1129 0.0000 整体 0.87472 0.070945 12.3295 0.0000
Kendall 的一致性系数 检验员 系数 卡方 自由度 P Amanda 1.00000 98.0000 49 0.0000 Britt 0.99448 97.4587 49 0.0000 Eric 0.98446 96.4769 49 0.0001 Mike 0.98700 96.7256 49 0.0001

每个检验员与标准

评估一致性 # 检 # 相 检验员 验数 符数 百分比 95% 置信区间 Amanda 50 47 94.00 (83.45, 98.75) Britt 50 46 92.00 (80.77, 97.78) Eric 50 41 82.00 (68.56, 91.42) Mike 50 45 90.00 (78.19, 96.67) # 相符数: 检验员在多次试验中的评估与已知标准一致。
Fleiss 的 Kappa 统计量 检验员 响应 Kappa Kappa 标准误 Z P(与 > 0) Amanda 1 1.00000 0.100000 10.0000 0.0000 2 0.83060 0.100000 8.3060 0.0000 3 0.81917 0.100000 8.1917 0.0000 4 1.00000 0.100000 10.0000 0.0000 5 1.00000 0.100000 10.0000 0.0000 整体 0.92476 0.050257 18.4006 0.0000 Britt 1 1.00000 0.100000 10.0000 0.0000 2 0.83838 0.100000 8.3838 0.0000 3 0.80725 0.100000 8.0725 0.0000 4 1.00000 0.100000 10.0000 0.0000 5 1.00000 0.100000 10.0000 0.0000 整体 0.92462 0.050396 18.3473 0.0000 Eric 1 0.91159 0.100000 9.1159 0.0000 2 0.81035 0.100000 8.1035 0.0000 3 0.72619 0.100000 7.2619 0.0000 4 0.84919 0.100000 8.4919 0.0000 5 1.00000 0.100000 10.0000 0.0000 整体 0.86163 0.050500 17.0622 0.0000 Mike 1 1.00000 0.100000 10.0000 0.0000 2 0.91694 0.100000 9.1694 0.0000 3 0.90736 0.100000 9.0736 0.0000 4 0.92913 0.100000 9.2913 0.0000 5 0.93502 0.100000 9.3502 0.0000 整体 0.93732 0.050211 18.6674 0.0000
Kendall 的相关系数 检验员 系数 系数标准误 Z P Amanda 0.967386 0.0690066 14.0128 0.0000 Britt 0.967835 0.0690066 14.0193 0.0000 Eric 0.951863 0.0690066 13.7879 0.0000 Mike 0.975168 0.0690066 14.1256 0.0000

检验员之间

评估一致性 # 检 # 相 验数 符数 百分比 95% 置信区间 50 37 74.00 (59.66, 85.37) # 相符数: 所有检验员的评估一致。
Fleiss 的 Kappa 统计量 响应 Kappa Kappa 标准误 Z P(与 > 0) 1 0.954392 0.0267261 35.7101 0.0000 2 0.827694 0.0267261 30.9695 0.0000 3 0.772541 0.0267261 28.9058 0.0000 4 0.891127 0.0267261 33.3429 0.0000 5 0.968148 0.0267261 36.2248 0.0000 整体 0.881705 0.0134362 65.6218 0.0000
Kendall 的一致性系数 系数 卡方 自由度 P 0.976681 382.859 49 0.0000

所有检验员与标准

评估一致性 # 检 # 相 验数 符数 百分比 95% 置信区间 50 37 74.00 (59.66, 85.37) # 相符数: 所有检验员的评估与已知的标准一致。
Fleiss 的 Kappa 统计量 响应 Kappa Kappa 标准误 Z P(与 > 0) 1 0.977897 0.0500000 19.5579 0.0000 2 0.849068 0.0500000 16.9814 0.0000 3 0.814992 0.0500000 16.2998 0.0000 4 0.944580 0.0500000 18.8916 0.0000 5 0.983756 0.0500000 19.6751 0.0000 整体 0.912082 0.0251705 36.2362 0.0000
Kendall 的相关系数 系数 系数标准误 Z P 0.965563 0.0345033 27.9817 0.0000