このトピックの内容
ステップ1：検査者の一致性を視覚的に評価する
各検査者の評価の一貫性を特定するには、検査者内グラフを評価します。各検査者の一致率（青い円）と一致率の信頼区間（赤い円）を比較します。
各検査者の評価の正確性を特定するには、検査者対標準グラフを評価します。各検査者の一致率（青い円）と一致率の信頼区間（赤い円）を比較します。
注
検査者内グラフは、複数回の試行を行った場合のみ表示されます。
この検査者内グラフは、Amandaの評価が最も一貫性が高く、Ericの評価が最も一貫性が低いことを示しています。検査者対標準グラフは、Amandaの評価が最も正確性が高く、Ericの評価が最も正確性が低いことを示しています。
ステップ2: 各検査者の応答の一貫性を評価する
各検査者の評価の一貫性を特定するには、検査者内表でκ統計量を評価します。評価が順位の場合は、Kendallの一致係数も評価する必要があります。検査者内表は、各検査者が1つの項目を2回以上評価する場合に表示されます。
評価者が同じサンプルを評価する場合に、複数の評価者によって作成された名義または順位評価の一致度を評価するには、κ統計量を使用します。
- κ = 1の場合、評価は完全に一致しています。
- κ = 0の場合、一致は偶然の所産として期待されるものと同じです。
- κ < 0は、一致の度合いが偶然の所産として期待されるより弱いときですが、これはめったに起こりません。
AIAGは、κ値が0.75以上のときに一致度が高いとしています。ただし、0.90以上など、より高いκ値が望ましいです。
欠陥の程度を1～5段階で表したものなど、順序評価を用いている場合は、κ統計だけを利用するよりは順位を考慮するKendall係数も利用する方が適切です。
注
検査者内表は検査者の評価が一貫しているかどうかを示すものであって、評価が参照値と一致しているかどうかを示すものではないことに注意してください。一貫性のある評価が正しい評価であるとは限りません。
評価一致
| 検査者 | 検査数 | 一致数 | パーセント | 95%信頼区間 |
|---|---|---|---|---|
| Amanda | 50 | 50 | 100.00 | (94.18, 100.00) |
| Britt | 50 | 48 | 96.00 | (86.29, 99.51) |
| Eric | 50 | 43 | 86.00 | (73.26, 94.18) |
| Mike | 50 | 45 | 90.00 | (78.19, 96.67) |
Fleissのκ統計
| 検査者 | 応答 | κ | SE Kappa | z値 | P(vs > 0) |
|---|---|---|---|---|---|
| Amanda | 1 | 1.00000 | 0.141421 | 7.0711 | 0.0000 |
| 2 | 1.00000 | 0.141421 | 7.0711 | 0.0000 | |
| 3 | 1.00000 | 0.141421 | 7.0711 | 0.0000 | |
| 4 | 1.00000 | 0.141421 | 7.0711 | 0.0000 | |
| 5 | 1.00000 | 0.141421 | 7.0711 | 0.0000 | |
| 全体 | 1.00000 | 0.071052 | 14.0741 | 0.0000 | |
| Britt | 1 | 1.00000 | 0.141421 | 7.0711 | 0.0000 |
| 2 | 0.89605 | 0.141421 | 6.3360 | 0.0000 | |
| 3 | 0.86450 | 0.141421 | 6.1129 | 0.0000 | |
| 4 | 1.00000 | 0.141421 | 7.0711 | 0.0000 | |
| 5 | 1.00000 | 0.141421 | 7.0711 | 0.0000 | |
| 全体 | 0.94965 | 0.071401 | 13.3002 | 0.0000 | |
| Eric | 1 | 0.83060 | 0.141421 | 5.8733 | 0.0000 |
| 2 | 0.84000 | 0.141421 | 5.9397 | 0.0000 | |
| 3 | 0.70238 | 0.141421 | 4.9666 | 0.0000 | |
| 4 | 0.70238 | 0.141421 | 4.9666 | 0.0000 | |
| 5 | 1.00000 | 0.141421 | 7.0711 | 0.0000 | |
| 全体 | 0.82354 | 0.071591 | 11.5034 | 0.0000 | |
| Mike | 1 | 1.00000 | 0.141421 | 7.0711 | 0.0000 |
| 2 | 0.83060 | 0.141421 | 5.8733 | 0.0000 | |
| 3 | 0.81917 | 0.141421 | 5.7924 | 0.0000 | |
| 4 | 0.86450 | 0.141421 | 6.1129 | 0.0000 | |
| 5 | 0.86450 | 0.141421 | 6.1129 | 0.0000 | |
| 全体 | 0.87472 | 0.070945 | 12.3295 | 0.0000 |
Kendallの一致係数
| 検査者 | 係数 | カイ二乗 | 自由度 | p値 |
|---|---|---|---|---|
| Amanda | 1.00000 | 98.0000 | 49 | 0.0000 |
| Britt | 0.99448 | 97.4587 | 49 | 0.0000 |
| Eric | 0.98446 | 96.4769 | 49 | 0.0001 |
| Mike | 0.98700 | 96.7256 | 49 | 0.0001 |
主要な結果:κ、Kendallの一致係数
多くのκ値は1で、検査者内の試行間で評価が完全に一致していることを示しています。Ericのいくつかのκ値は0.70に近くなっています。それらのサンプルのEricの評価が一貫していない理由を調査する必要がある可能性があります。データは順位であるため、Kendallの一致係数も表示されます。これらの値はすべて0.98より大きく、検査者内の評価に非常に強い関連性があることを示しています。
ステップ3: 各検査者の応答の正確性を評価する
各検査者の評価の正確性を特定するには、各検査者対標準表でκ統計量を評価します。評価が順位の場合は、Kendallの相関係数も評価する必要があります。各検査者対標準表は、各サンプルの参照値を指定した場合に表示されます。
評価者が同じサンプルを評価する場合に、複数の評価者によって作成された名義または順位評価の一致度を評価するには、κ統計量を使用します。
- κ = 1の場合、評価は完全に一致しています。
- κ = 0の場合、一致は偶然の所産として期待されるものと同じです。
- κ < 0は、一致の度合いが偶然の所産として期待されるより弱いときですが、これはめったに起こりません。
AIAGは、κ値が0.75以上のときに一致度が高いとしています。ただし、0.90以上など、より高いκ値が望ましいです。
欠陥の程度を1～5段階で表したものなど、順序評価を用いている場合は、κ統計だけを利用するよりは順位を考慮するKendall係数も利用する方が適切です。
評価一致
| 検査者 | 検査数 | 一致数 | パーセント | 95%信頼区間 |
|---|---|---|---|---|
| Amanda | 50 | 47 | 94.00 | (83.45, 98.75) |
| Britt | 50 | 46 | 92.00 | (80.77, 97.78) |
| Eric | 50 | 41 | 82.00 | (68.56, 91.42) |
| Mike | 50 | 45 | 90.00 | (78.19, 96.67) |
Fleissのκ統計
| 検査者 | 応答 | κ | SE Kappa | z値 | P(vs > 0) |
|---|---|---|---|---|---|
| Amanda | 1 | 1.00000 | 0.100000 | 10.0000 | 0.0000 |
| 2 | 0.83060 | 0.100000 | 8.3060 | 0.0000 | |
| 3 | 0.81917 | 0.100000 | 8.1917 | 0.0000 | |
| 4 | 1.00000 | 0.100000 | 10.0000 | 0.0000 | |
| 5 | 1.00000 | 0.100000 | 10.0000 | 0.0000 | |
| 全体 | 0.92476 | 0.050257 | 18.4006 | 0.0000 | |
| Britt | 1 | 1.00000 | 0.100000 | 10.0000 | 0.0000 |
| 2 | 0.83838 | 0.100000 | 8.3838 | 0.0000 | |
| 3 | 0.80725 | 0.100000 | 8.0725 | 0.0000 | |
| 4 | 1.00000 | 0.100000 | 10.0000 | 0.0000 | |
| 5 | 1.00000 | 0.100000 | 10.0000 | 0.0000 | |
| 全体 | 0.92462 | 0.050396 | 18.3473 | 0.0000 | |
| Eric | 1 | 0.91159 | 0.100000 | 9.1159 | 0.0000 |
| 2 | 0.81035 | 0.100000 | 8.1035 | 0.0000 | |
| 3 | 0.72619 | 0.100000 | 7.2619 | 0.0000 | |
| 4 | 0.84919 | 0.100000 | 8.4919 | 0.0000 | |
| 5 | 1.00000 | 0.100000 | 10.0000 | 0.0000 | |
| 全体 | 0.86163 | 0.050500 | 17.0622 | 0.0000 | |
| Mike | 1 | 1.00000 | 0.100000 | 10.0000 | 0.0000 |
| 2 | 0.91694 | 0.100000 | 9.1694 | 0.0000 | |
| 3 | 0.90736 | 0.100000 | 9.0736 | 0.0000 | |
| 4 | 0.92913 | 0.100000 | 9.2913 | 0.0000 | |
| 5 | 0.93502 | 0.100000 | 9.3502 | 0.0000 | |
| 全体 | 0.93732 | 0.050211 | 18.6674 | 0.0000 |
Kendallの相関係数
| 検査者 | 係数 | SE Coef | z値 | p値 |
|---|---|---|---|---|
| Amanda | 0.967386 | 0.0690066 | 14.0128 | 0.0000 |
| Britt | 0.967835 | 0.0690066 | 14.0193 | 0.0000 |
| Eric | 0.951863 | 0.0690066 | 13.7879 | 0.0000 |
| Mike | 0.975168 | 0.0690066 | 14.1256 | 0.0000 |
主要な結果:κ、Kendallの相関係数
ほとんどのκ値は0.80より大きく、各検査者と標準が良好に一致していることを示しています。いくつかのκ値は0.70に近く、特定のサンプルまたは検査者についてさらに調査が必要である可能性を示しています。評価が順位であるため、Kendallの相関係数も表示されます。これらの値の範囲は0.951863から0.975168までになっており、評価と標準値との間に強い関連性があることを示しています。
ステップ4: 検査者間の応答の一貫性を評価する
検査者間の評価の一貫性を特定するには、検査者間表でκ統計量を評価します。評価が順位の場合は、Kendallの一致係数も評価する必要があります。
評価者が同じサンプルを評価する場合に、複数の評価者によって作成された名義または順位評価の一致度を評価するには、κ統計量を使用します。
- κ = 1の場合、評価は完全に一致しています。
- κ = 0の場合、一致は偶然の所産として期待されるものと同じです。
- κ < 0は、一致の度合いが偶然の所産として期待されるより弱いときですが、これはめったに起こりません。
AIAGは、κ値が0.75以上のときに一致度が高いとしています。ただし、0.90以上など、より高いκ値が望ましいです。
欠陥の程度を1～5段階で表したものなど、順序評価を用いている場合は、κ統計だけを利用するよりは順位を考慮するKendall係数も利用する方が適切です。
注
検査者間表は検査者の評価が一貫しているかどうかを示すものであって、評価が参照値と一致しているかどうかを示すものではないことに注意してください。一貫性のある評価が正しい評価であるとは限りません。
評価一致
| 検査数 | 一致数 | パーセント | 95%信頼区間 |
|---|---|---|---|
| 50 | 37 | 74.00 | (59.66, 85.37) |
Fleissのκ統計
| 応答 | κ | SE Kappa | z値 | P(vs > 0) |
|---|---|---|---|---|
| 1 | 0.954392 | 0.0267261 | 35.7101 | 0.0000 |
| 2 | 0.827694 | 0.0267261 | 30.9695 | 0.0000 |
| 3 | 0.772541 | 0.0267261 | 28.9058 | 0.0000 |
| 4 | 0.891127 | 0.0267261 | 33.3429 | 0.0000 |
| 5 | 0.968148 | 0.0267261 | 36.2248 | 0.0000 |
| 全体 | 0.881705 | 0.0134362 | 65.6218 | 0.0000 |
Kendallの一致係数
| 係数 | カイ二乗 | 自由度 | p値 |
|---|---|---|---|
| 0.976681 | 382.859 | 49 | 0.0000 |
主要な結果: κ、Kendallの一致係数
すべてのκ値は0.77より大きく、検査者間の一致は最低限許容されることを示しています。検査者間の一致はサンプル1および5で最も高く、サンプル3で最も低くなっています。データは順位であるため、Kendallの一致係数（0.976681）も表示され、検査者間の評価に強い関連性があることを示しています。
ステップ5: すべての検査者の応答の正確性を評価する
すべての検査者の評価の正確性を特定するには、すべての検査者対標準表でκ統計量を評価します。評価が順位の場合は、Kendallの一致係数も評価する必要があります。
評価者が同じサンプルを評価する場合に、複数の評価者によって作成された名義または順位評価の一致度を評価するには、κ統計量を使用します。
- κ = 1の場合、評価は完全に一致しています。
- κ = 0の場合、一致は偶然の所産として期待されるものと同じです。
- κ < 0は、一致の度合いが偶然の所産として期待されるより弱いときですが、これはめったに起こりません。
AIAGは、κ値が0.75以上のときに一致度が高いとしています。ただし、0.90以上など、より高いκ値が望ましいです。
欠陥の程度を1～5段階で表したものなど、順序評価を用いている場合は、κ統計だけを利用するよりは順位を考慮するKendall係数も利用する方が適切です。
評価一致
| 検査数 | 一致数 | パーセント | 95%信頼区間 |
|---|---|---|---|
| 50 | 37 | 74.00 | (59.66, 85.37) |
Fleissのκ統計
| 応答 | κ | SE Kappa | z値 | P(vs > 0) |
|---|---|---|---|---|
| 1 | 0.977897 | 0.0500000 | 19.5579 | 0.0000 |
| 2 | 0.849068 | 0.0500000 | 16.9814 | 0.0000 |
| 3 | 0.814992 | 0.0500000 | 16.2998 | 0.0000 |
| 4 | 0.944580 | 0.0500000 | 18.8916 | 0.0000 |
| 5 | 0.983756 | 0.0500000 | 19.6751 | 0.0000 |
| 全体 | 0.912082 | 0.0251705 | 36.2362 | 0.0000 |
Kendallの相関係数
| 係数 | SE Coef | z値 | p値 |
|---|---|---|---|
| 0.965563 | 0.0345033 | 27.9817 | 0.0000 |
主要な結果: κ、Kendallの一致係数
これらの結果から、サンプル50個中37個で、すべての評価者が標準評価に正しく一致していることが分かります。全体のκ値は0.912082で、これは標準値との一致性が高いことを示しています。データは順位であるため、Kendallの一致係数（0.965563）も使用され、評価と標準値との間に強い関連性があることを示しています。
