属性一致性分析 的数据注意事项

要确保结果有效,请在收集数据、执行分析和解释结果时注意以下准则。

检验员应以随机顺序评估样本
要确保数据收集顺序不影响结果,每个检验员应随机估计仿行内的所有样本。所有检验员估计所有样本一次后,对所有仿行重复此过程。
每个样本可以有一个已知参考评级
参考值(也称为主值)是标准样本的已知且正确的评级。例如,您有一组标准织物样本,具有已知且正确的印染质量评级。您将使用这些样本评估检验员正确评级印染质量的能力。
要进行充分研究,您应至少具有 50 个样本
要进行充分评估一致性,您至少需要 50 个样本。从整个过程变异范围选择样本。有许多样本的少量仿行比有少量样本的许多仿行要好。
检验员应对每个样本至少评级两次
要评估检验员对相同样本进行一致估计的能力,每个检验员应以随机顺序对每个样本至少进行两次评级。
复制很重要,但也很麻烦。计划资源时,请记住:最好随机估计少量仿行的许多样本,而非随机估计许多仿行的少量样本。
要进行充分研究,您应至少具有 3 个检验员
为了获得最佳效果,研究应包含 3 至 5 个检验员。在研究中,检验员的人数不应少于 3 个,除非使用测量系统的实际检验员人数不到 3 个。如果怀疑检验员之间存在较大差异,则考虑使用多于 3 至 5 个检验员。如果识别出检验员之间的差异后,如某个检验员的准确度低于其他检验员,则可通过培训提高一致性。
选择能代表使用测量系统的所有检验员的检验员。如果只使用最好(或最差)的检验员进行研究,结果将出现偏倚,因此将无法提供检验员差异的准确估计。确保准确度的最佳方法是随机选择检验员进行研究。
检验员对每个类别的评级数应大致相同
为了获得最佳效果,您应具有来自各个类别的样本适度均衡组合,以便可以评估检验员对每个类别的样本进行相似精确度估计的能力。如果某个类别的样本百分比较小,则对该类别的估计精确度可能较低。
当是二元响应时(如通过/失败,或是/否),您需要一些勉强可接受和一些勉强不可接受的样本。例如,适量通过的样本应为勉强通过。
属性一致性分析必须是平衡的
每个检验员必须对每个样本进行相同次数的评估。