对于特定的响应值,可通过组合某一类中不等于该值的所有响应来计算 kappa。然后,可以使用 2X2 表计算 kappa。
如果实际标准未知,则 Minitab 可通过以下公式评估 Cohen 的 kappa:

| 试验 B(或检验员 B) | |||||
| 试验 A(或检验员 A) | 1 | 2 | ... | k | 合计 |
| 1 | p11 | p12 | ... | p1k | p1+ |
| 2 | p21 | p22 | ... | p2k | P2+ |
| .... | |||||
| k | pk1 | pk2 | ... | pkk | pk+. |
| 合计 | p.+1 | p.+2 | ... | p.+k | 1 |





| 项 | 说明 |
|---|---|
| Po | 观测到的一致性比例 |
| pii | 双向表对角线中的每个值 |
| Pe | k 个检验员一致的预期次数比例 |
| nij | 第 i 行和第 j 列中的样本数 |
| N | 样本总数 |
如果分类是名义上的,可使用 Cohen 的 kappa 统计量。如果在标准已知的情况下,您选择获取 Cohen 的 kappa,Minitab 将使用以下公式计算统计量。
具有已知标准的试验一致性的 kappa 系数将是这些 kappa 系数的均值。
如果实际标准已知,则首先使用每个试验的数据和已知标准计算 kappa。

| 标准 | |||||
| 试验 A | 1 | 2 | ... | k | 合计 |
| 1 | p11 | p12 | ... | p1k | p1+ |
| 2 | p21 | p22 | ... | p2k | P2+ |
| .... | |||||
| k | pk1 | pk2 | ... | pkk | pk+. |
| 合计 | p.+1 | p.+2 | ... | p.+k | 1 |





| 项 | 说明 |
|---|---|
| Po | 观测到的一致性比例 |
| pii | 双向表对角线中的每个值 |
| Pe | k 个检验员一致的预期次数比例 |
| nij | 第 i 行和第 j 列中的样本数 |
| N | 样本总数 |
要检验原假设,即评级之间相互独立(以使 kappa = 0),请使用:
z = kappa / kappa 标准误
这是一个单侧检验。在原假设下,z 遵循标准正态分布。如果 z 明显大于 α 临界值,则否定该假设。
每个试验和标准的 kappa 标准误是:



| 项 | 说明 |
|---|---|
| Pe | k 个检验员一致的预期次数比例 |
| N | 样本总数 |
定义 xij 成为样本 i 对类别 j 的评级数,其中 i 介于 1 到 n,j 介于 1 到 k。
整体 kappa 的系数由以下公式定义:

其中:
Po 是 m 个试验之间配对一致性的观测到的比率。

如果各个试验的评级之间是相互独立的,则 Pe 是一致性的预期比率。

pj 表示类别 j 中评级的整体比率。

将 Po 和 Pe 替换成 K,则通过以下公式估算整体 kappa 系数:

| 项 | 说明 |
|---|---|
| k | 是类别总数 |
| m | 是试验数。对于第 1 种情况,m 等于每个检验员的试验数,对于第 2 种情况,m 等于所有检验员的试验数。 |
| n | 样本数 |
| xij | 样本 i 对类别 j 的评级数 |
有关测量关于分类到 k 个类别其中之一的一致性,即第 j 个,有人可能会合并所有类别,而非使用当前的方法,分类到单个类别并应用上述二次方程。第 j 个类别的 kappa 统计量的结果公式是:


其中:
| 项 | 说明 |
|---|---|
| k | 是类别总数 |
| m | 是试验数。对于第 1 种情况,m 等于每个检验员的试验数,对于第 2 种情况,m 等于所有检验员的试验数。 |
| n | 样本数 |
| xij | 样本 i 对类别 j 的评级数 |
原假设 H0 为 kappa = 0。备择假设 H1 为 kappa > 0。
在原假设下,Z 大致呈正态分布,用于计算 p 值。
要检验 kappa 是否大于> 0,请使用以下 Z 统计量:

Var (K) 通过以下公式计算得出:

要检验第 j 类的 kappa 是否大于 0,请使用以下 Z 统计量:

Var (Kj) 通过以下公式计算的出:


| 项 | 说明 |
|---|---|
| K | 整体 kappa 统计量 |
| Kj | 第 j 类的 kappa 统计量 |
| k | 类别总数 |
| m | 是试验数。对于第 1 种情况,m 等于每个检验员的试验数,对于第 2 种情况,m 等于所有检验员的试验数。 |
| n | 样本数 |
| xij | 样本 i 对类别 j 的评级数 |
当已知每个样本标准评级时,使用以下步骤计算整体 kappa 和特定类别的 kappa。
假定有 m 个试验。
查看来自 Fleiss 的 kappa 统计量的公式(标准未知)。
具有已知标准的整体 kappa 将等于所有 m 个整体 kappa 值的平均值。
同样,具有已知标准的特定类别的 kappa 将等于特定类别值的所有 m 个 kappa 的平均值。
原假设,H0 是 kappa = 0。备择假设,H1 是 kappa > 0。
在原假设下,Z 大致呈正态分布,用于计算 p 值。

其中 K 是 kappa 统计量,Var(K) 是 kappa 统计量的方差。
查看来自 Fleiss 的 kappa 统计量的公式(标准未知)
假定有 m 个试验。
具有已知标准的整个 kappa 的方差将等于整个 kappa 的 m 个方差之和除以 m2。
类似地,具有已知标准的特定类别的 kappa 方差等于特定类别的 kappa 的 m 个方差之和除以 m2。