属性一致性分析示例

一家纺织品印染公司的织物检验员为棉织物的印染质量评级,等级范围为 1 至 5 级。质量工程师想评估这些印染质量评级的一致性和正确性。该工程师让四位检验员对 50 件织物样本进行印染质量评级(按随机顺序)。

因为这些数据包含每个样本的已知标准,所以质量工程师可以评估与标准以及其他检验员相对比的评级一致性和正确性。

  1. 打开样本数据 织物印刷质量.MWX.
  2. 选择统计 > 质量工具 > 属性一致性分析
  3. 数据排列为中,选择属性列,然后输入响应
  4. 样本中,输入样本
  5. 检验员中,输入检验员
  6. 已知标准/属性中,输入标准
  7. 选择属性数据的类别是有序的
  8. 单击确定

解释结果

检验员自身表
因为每位检验员为每个样本提供两个或两个以上评级,所以工程师可评估每位检验员的一致性。
所有检验员的匹配率都不错,Amanda 的匹配率最高 (100%),Eric 的最低 (86%)。
在 α = 0.05 的情况下,对于所有的检验员和所有的响应,Fleiss 的 kappa 统计量的 p 值为 0.0000。因此,工程师否定原假设(一致性只是出于偶然)。
由于此示例具有顺序评级,因此工程师会检查 Kendall 一致性系数。对于所有的检验员,Kendall 一致性系数介于 0.98446 和 1.000 之间,这表明一致性水平较高。
“每位检验员与标准”表
因为每个样本均具有一个已知标准,所以工程师可评估每位检验员评级的准确性和一致性。
每位检验员评定了 50 个织物样本的等级(检验数)。Amanda 在试验中正确判断了 47 个样本(匹配数),匹配率为 94%。Eric 在试验中正确判断了 41 个样本,匹配率为 82%。
在 α = 0.05 的情况下,对于所有检验员与所有响应,Fleiss 的 kappa 的 p 值为 0.0000。因此,工程师否定原假设(一致性只是出于偶然)。
所有检验员的 Kendall 相关系数介于 0.951863 和 0.975168 之间,这确认了与标准的一致性较高。
“检验员之间”表
“检验员之间”表显示了检验员就 50 个样本中 37 个样本的评级进行商定。
整体 kappa 值为 0.881705 表示不同检验员所提供评级之间的绝对一致性较高。Kendall 一致性系数为 0.976681 确认了这一较强的关联。
检验员之间的统计量不会将检验员的评级与标准进行比较。尽管检验员的评级可能一致,但是这些统计量不会表明评级是否正确。
“所有检验员与标准”表
因为每个样本有已知标准,所以工程师可评估所有检验员评级的准确性。
检验员将所有检验员评估的 50 个评级中的 37 个评级与已知标准进行匹配,匹配率为 74.0%。
整体 kappa 值为 0.912082 表示不同检验员所提供评级之间的一致性较高,并且这些评级与标准的一致性也很高。Kendall 一致性系数为 0.965563 确认了这一较强的关联。
“所有检验员与标准”统计量的确会对检验员的评级与标准进行比较。工程师可以断定不同检验员的评级一致而且正确。
注意

虽然输出中的 p 值 0.0000 已进行取整, 但是您可以放心地断定 p 值非常低而且小于 0.00005。

评估一致性

检验员# 检验数# 相符数百分比95% 置信区间
Amanda5050100.00(94.18, 100.00)
Britt504896.00(86.29, 99.51)
Eric504386.00(73.26, 94.18)
Mike504590.00(78.19, 96.67)
# 相符数: 检验员在多个试验之间,他/她自身标准一致。

Fleiss 的 Kappa 统计量

检验员响应KappaKappa 标准误ZP(与 > 0)
Amanda11.000000.1414217.07110.0000
  21.000000.1414217.07110.0000
  31.000000.1414217.07110.0000
  41.000000.1414217.07110.0000
  51.000000.1414217.07110.0000
  整体1.000000.07105214.07410.0000
Britt11.000000.1414217.07110.0000
  20.896050.1414216.33600.0000
  30.864500.1414216.11290.0000
  41.000000.1414217.07110.0000
  51.000000.1414217.07110.0000
  整体0.949650.07140113.30020.0000
Eric10.830600.1414215.87330.0000
  20.840000.1414215.93970.0000
  30.702380.1414214.96660.0000
  40.702380.1414214.96660.0000
  51.000000.1414217.07110.0000
  整体0.823540.07159111.50340.0000
Mike11.000000.1414217.07110.0000
  20.830600.1414215.87330.0000
  30.819170.1414215.79240.0000
  40.864500.1414216.11290.0000
  50.864500.1414216.11290.0000
  整体0.874720.07094512.32950.0000

Kendall 的一致性系数

检验员系数卡方自由度P
Amanda1.0000098.0000490.0000
Britt0.9944897.4587490.0000
Eric0.9844696.4769490.0001
Mike0.9870096.7256490.0001

评估一致性

检验员# 检验数# 相符数百分比95% 置信区间
Amanda504794.00(83.45, 98.75)
Britt504692.00(80.77, 97.78)
Eric504182.00(68.56, 91.42)
Mike504590.00(78.19, 96.67)
# 相符数: 检验员在多次试验中的评估与已知标准一致。

Fleiss 的 Kappa 统计量

检验员响应KappaKappa 标准误ZP(与 > 0)
Amanda11.000000.10000010.00000.0000
  20.830600.1000008.30600.0000
  30.819170.1000008.19170.0000
  41.000000.10000010.00000.0000
  51.000000.10000010.00000.0000
  整体0.924760.05025718.40060.0000
Britt11.000000.10000010.00000.0000
  20.838380.1000008.38380.0000
  30.807250.1000008.07250.0000
  41.000000.10000010.00000.0000
  51.000000.10000010.00000.0000
  整体0.924620.05039618.34730.0000
Eric10.911590.1000009.11590.0000
  20.810350.1000008.10350.0000
  30.726190.1000007.26190.0000
  40.849190.1000008.49190.0000
  51.000000.10000010.00000.0000
  整体0.861630.05050017.06220.0000
Mike11.000000.10000010.00000.0000
  20.916940.1000009.16940.0000
  30.907360.1000009.07360.0000
  40.929130.1000009.29130.0000
  50.935020.1000009.35020.0000
  整体0.937320.05021118.66740.0000

Kendall 的相关系数

检验员系数系数标准误ZP
Amanda0.9673860.069006614.01280.0000
Britt0.9678350.069006614.01930.0000
Eric0.9518630.069006613.78790.0000
Mike0.9751680.069006614.12560.0000

评估一致性

# 检验数# 相符数百分比95% 置信区间
503774.00(59.66, 85.37)
# 相符数: 所有检验员的评估一致。

Fleiss 的 Kappa 统计量

响应KappaKappa 标准误ZP(与 > 0)
10.9543920.026726135.71010.0000
20.8276940.026726130.96950.0000
30.7725410.026726128.90580.0000
40.8911270.026726133.34290.0000
50.9681480.026726136.22480.0000
整体0.8817050.013436265.62180.0000

Kendall 的一致性系数

系数卡方自由度P
0.976681382.859490.0000

评估一致性

# 检验数# 相符数百分比95% 置信区间
503774.00(59.66, 85.37)
# 相符数: 所有检验员的评估与已知的标准一致。

Fleiss 的 Kappa 统计量

响应KappaKappa 标准误ZP(与 > 0)
10.9778970.050000019.55790.0000
20.8490680.050000016.98140.0000
30.8149920.050000016.29980.0000
40.9445800.050000018.89160.0000
50.9837560.050000019.67510.0000
整体0.9120820.025170536.23620.0000

Kendall 的相关系数

系数系数标准误ZP
0.9655630.034503327.98170.0000