属性の一致性分析の主要な結果の解釈

属性の一致性分析を解釈するには、次の手順を実行します。主要な出力には、κ統計量、Kendallの統計量、および属性の一致性グラフなどがあります。

ステップ1:検査者の一致性を視覚的に評価する

各検査者の評価の一貫性を特定するには、検査者内グラフを評価します。各検査者の一致率(青い円)と一致率の信頼区間(赤い円)を比較します。

各検査者の評価の正確性を特定するには、検査者対標準グラフを評価します。各検査者の一致率(青い円)と一致率の信頼区間(赤い円)を比較します。

検査者内グラフは、複数回の試行を行った場合のみ表示されます。

この検査者内グラフは、Amandaの評価が最も一貫性が高く、Ericの評価が最も一貫性が低いことを示しています。検査者対標準グラフは、Amandaの評価が最も正確性が高く、Ericの評価が最も正確性が低いことを示しています。

ステップ2: 各検査者の応答の一貫性を評価する

各検査者の評価の一貫性を特定するには、検査者内表でκ統計量を評価します。評価が順位の場合は、Kendallの一致係数も評価する必要があります。検査者内表は、各検査者が1つの項目を2回以上評価する場合に表示されます。

評価者が同じサンプルを評価する場合に、複数の評価者によって作成された名義または順位評価の一致度を評価するには、κ統計量を使用します。

κ統計の値の範囲は-1~+1です。次のように、値が高いほど一致度も高くなります。
  • κ = 1の場合、評価は完全に一致しています。
  • κ = 0の場合、一致は偶然の所産として期待されるものと同じです。
  • κ < 0は、一致の度合いが偶然の所産として期待されるより弱いときですが、これはめったに起こりません。

AIAGは、κ値が0.75以上のときに一致度が高いとしています。ただし、0.90以上など、より高いκ値が望ましいです。

欠陥の程度を1~5段階で表したものなど、順序評価を用いている場合は、κ統計だけを利用するよりは順位を考慮するKendall係数も利用する方が適切です。

検査者内表は検査者の評価が一貫しているかどうかを示すものであって、評価が参照値と一致しているかどうかを示すものではないことに注意してください。一貫性のある評価が正しい評価であるとは限りません。

検査者内

評価一致 検査者 検査数 一致数 パーセント 95 %信頼区間 Amanda 50 50 100.00 (94.18, 100.00) Britt 50 48 96.00 (86.29, 99.51) Eric 50 43 86.00 (73.26, 94.18) Mike 50 45 90.00 (78.19, 96.67) 一致数:検査者の試行の結果にばらつきがなくなりました。
Fleissのκ統計 検査者 応答 κ SE Kappa z値 P(vs > 0) Amanda 1 1.00000 0.141421 7.0711 0.0000 2 1.00000 0.141421 7.0711 0.0000 3 1.00000 0.141421 7.0711 0.0000 4 1.00000 0.141421 7.0711 0.0000 5 1.00000 0.141421 7.0711 0.0000 全体 1.00000 0.071052 14.0741 0.0000 Britt 1 1.00000 0.141421 7.0711 0.0000 2 0.89605 0.141421 6.3360 0.0000 3 0.86450 0.141421 6.1129 0.0000 4 1.00000 0.141421 7.0711 0.0000 5 1.00000 0.141421 7.0711 0.0000 全体 0.94965 0.071401 13.3002 0.0000 Eric 1 0.83060 0.141421 5.8733 0.0000 2 0.84000 0.141421 5.9397 0.0000 3 0.70238 0.141421 4.9666 0.0000 4 0.70238 0.141421 4.9666 0.0000 5 1.00000 0.141421 7.0711 0.0000 全体 0.82354 0.071591 11.5034 0.0000 Mike 1 1.00000 0.141421 7.0711 0.0000 2 0.83060 0.141421 5.8733 0.0000 3 0.81917 0.141421 5.7924 0.0000 4 0.86450 0.141421 6.1129 0.0000 5 0.86450 0.141421 6.1129 0.0000 全体 0.87472 0.070945 12.3295 0.0000
Kendallの一致係数 検査者 係数 カイ二乗 自由度 p値 Amanda 1.00000 98.0000 49 0.0000 Britt 0.99448 97.4587 49 0.0000 Eric 0.98446 96.4769 49 0.0001 Mike 0.98700 96.7256 49 0.0001
主要な結果:κ、Kendallの一致係数

多くのκ値は1で、検査者内の試行間で評価が完全に一致していることを示しています。Ericのいくつかのκ値は0.70に近くなっています。それらのサンプルのEricの評価が一貫していない理由を調査する必要がある可能性があります。データは順位であるため、Kendallの一致係数も表示されます。これらの値はすべて0.98より大きく、検査者内の評価に非常に強い関連性があることを示しています。

ステップ3: 各検査者の応答の正確性を評価する

各検査者の評価の正確性を特定するには、各検査者対標準表でκ統計量を評価します。評価が順位の場合は、Kendallの相関係数も評価する必要があります。各検査者対標準表は、各サンプルの参照値を指定した場合に表示されます。

評価者が同じサンプルを評価する場合に、複数の評価者によって作成された名義または順位評価の一致度を評価するには、κ統計量を使用します。

κ統計の値の範囲は-1~+1です。次のように、値が高いほど一致度も高くなります。
  • κ = 1の場合、評価は完全に一致しています。
  • κ = 0の場合、一致は偶然の所産として期待されるものと同じです。
  • κ < 0は、一致の度合いが偶然の所産として期待されるより弱いときですが、これはめったに起こりません。

AIAGは、κ値が0.75以上のときに一致度が高いとしています。ただし、0.90以上など、より高いκ値が望ましいです。

欠陥の程度を1~5段階で表したものなど、順序評価を用いている場合は、κ統計だけを利用するよりは順位を考慮するKendall係数も利用する方が適切です。

各検査者対標準

評価一致 パーセ 検査者 検査数 一致数 ント 95 %信頼区間 Amanda 50 47 94.00 (83.45, 98.75) Britt 50 46 92.00 (80.77, 97.78) Eric 50 41 82.00 (68.56, 91.42) Mike 50 45 90.00 (78.19, 96.67) 一致数: 検査者の試行評価が既知の標準と一致しました。
Fleissのκ統計 検査者 応答 κ SE Kappa z値 P(vs > 0) Amanda 1 1.00000 0.100000 10.0000 0.0000 2 0.83060 0.100000 8.3060 0.0000 3 0.81917 0.100000 8.1917 0.0000 4 1.00000 0.100000 10.0000 0.0000 5 1.00000 0.100000 10.0000 0.0000 全体 0.92476 0.050257 18.4006 0.0000 Britt 1 1.00000 0.100000 10.0000 0.0000 2 0.83838 0.100000 8.3838 0.0000 3 0.80725 0.100000 8.0725 0.0000 4 1.00000 0.100000 10.0000 0.0000 5 1.00000 0.100000 10.0000 0.0000 全体 0.92462 0.050396 18.3473 0.0000 Eric 1 0.91159 0.100000 9.1159 0.0000 2 0.81035 0.100000 8.1035 0.0000 3 0.72619 0.100000 7.2619 0.0000 4 0.84919 0.100000 8.4919 0.0000 5 1.00000 0.100000 10.0000 0.0000 全体 0.86163 0.050500 17.0622 0.0000 Mike 1 1.00000 0.100000 10.0000 0.0000 2 0.91694 0.100000 9.1694 0.0000 3 0.90736 0.100000 9.0736 0.0000 4 0.92913 0.100000 9.2913 0.0000 5 0.93502 0.100000 9.3502 0.0000 全体 0.93732 0.050211 18.6674 0.0000
Kendallの相関係数 検査者 係数 SE Coef z値 p値 Amanda 0.967386 0.0690066 14.0128 0.0000 Britt 0.967835 0.0690066 14.0193 0.0000 Eric 0.951863 0.0690066 13.7879 0.0000 Mike 0.975168 0.0690066 14.1256 0.0000
主要な結果:κ、Kendallの相関係数

ほとんどのκ値は0.80より大きく、各検査者と標準が良好に一致していることを示しています。いくつかのκ値は0.70に近く、特定のサンプルまたは検査者についてさらに調査が必要である可能性を示しています。評価が順位であるため、Kendallの相関係数も表示されます。これらの値の範囲は0.951863から0.975168までになっており、評価と標準値との間に強い関連性があることを示しています。

ステップ4: 検査者間の応答の一貫性を評価する

検査者間の評価の一貫性を特定するには、検査者間表でκ統計量を評価します。評価が順位の場合は、Kendallの一致係数も評価する必要があります。

評価者が同じサンプルを評価する場合に、複数の評価者によって作成された名義または順位評価の一致度を評価するには、κ統計量を使用します。

κ統計の値の範囲は-1~+1です。次のように、値が高いほど一致度も高くなります。
  • κ = 1の場合、評価は完全に一致しています。
  • κ = 0の場合、一致は偶然の所産として期待されるものと同じです。
  • κ < 0は、一致の度合いが偶然の所産として期待されるより弱いときですが、これはめったに起こりません。

AIAGは、κ値が0.75以上のときに一致度が高いとしています。ただし、0.90以上など、より高いκ値が望ましいです。

欠陥の程度を1~5段階で表したものなど、順序評価を用いている場合は、κ統計だけを利用するよりは順位を考慮するKendall係数も利用する方が適切です。

検査者間表は検査者の評価が一貫しているかどうかを示すものであって、評価が参照値と一致しているかどうかを示すものではないことに注意してください。一貫性のある評価が正しい評価であるとは限りません。

検査者間

評価一致 パーセ 検査数 一致数 ント 95 %信頼区間 50 37 74.00 (59.66, 85.37) 一致数: すべての検査者の評価が互いに一致しました。
Fleissのκ統計 応答 κ SE Kappa z値 P(vs > 0) 1 0.954392 0.0267261 35.7101 0.0000 2 0.827694 0.0267261 30.9695 0.0000 3 0.772541 0.0267261 28.9058 0.0000 4 0.891127 0.0267261 33.3429 0.0000 5 0.968148 0.0267261 36.2248 0.0000 全体 0.881705 0.0134362 65.6218 0.0000
Kendallの一致係数 係数 カイ二乗 自由度 p値 0.976681 382.859 49 0.0000
主要な結果: κ、Kendallの一致係数

すべてのκ値は0.77より大きく、検査者間の一致は最低限許容されることを示しています。検査者間の一致はサンプル1および5で最も高く、サンプル3で最も低くなっています。データは順位であるため、Kendallの一致係数(0.976681)も表示され、検査者間の評価に強い関連性があることを示しています。

ステップ5: すべての検査者の応答の正確性を評価する

すべての検査者の評価の正確性を特定するには、すべての検査者対標準表でκ統計量を評価します。評価が順位の場合は、Kendallの一致係数も評価する必要があります。

評価者が同じサンプルを評価する場合に、複数の評価者によって作成された名義または順位評価の一致度を評価するには、κ統計量を使用します。

κ統計の値の範囲は-1~+1です。次のように、値が高いほど一致度も高くなります。
  • κ = 1の場合、評価は完全に一致しています。
  • κ = 0の場合、一致は偶然の所産として期待されるものと同じです。
  • κ < 0は、一致の度合いが偶然の所産として期待されるより弱いときですが、これはめったに起こりません。

AIAGは、κ値が0.75以上のときに一致度が高いとしています。ただし、0.90以上など、より高いκ値が望ましいです。

欠陥の程度を1~5段階で表したものなど、順序評価を用いている場合は、κ統計だけを利用するよりは順位を考慮するKendall係数も利用する方が適切です。

すべての検査者対標準

評価一致 パーセ 検査数 一致数 ント 95 %信頼区間 50 37 74.00 (59.66, 85.37) 一致数: すべての検査者の評価が既知の標準と一致しました。
Fleissのκ統計 応答 κ SE Kappa z値 P(vs > 0) 1 0.977897 0.0500000 19.5579 0.0000 2 0.849068 0.0500000 16.9814 0.0000 3 0.814992 0.0500000 16.2998 0.0000 4 0.944580 0.0500000 18.8916 0.0000 5 0.983756 0.0500000 19.6751 0.0000 全体 0.912082 0.0251705 36.2362 0.0000
Kendallの相関係数 係数 SE Coef z値 p値 0.965563 0.0345033 27.9817 0.0000
主要な結果: κ、Kendallの一致係数

これらの結果から、サンプル50個中37個で、すべての評価者が標準評価に正しく一致していることが分かります。全体のκ値は0.912082で、これは標準値との一致性が高いことを示しています。データは順位であるため、Kendallの一致係数(0.965563)も使用され、評価と標準値との間に強い関連性があることを示しています。