Consideraciones acerca de los datos para Crear hoja de trabajo para análisis de concordancia de atributos

Para asegurar que los resultados sean válidos, considere las siguientes pautas al recopilar los datos.

Los evaluadores deben evaluar las muestras en un orden aleatorio: Para asegurar que el orden de recolección de los datos no influya en los resultados, cada evaluador debe evaluar todas las muestras de forma aleatoria dentro de una réplica. Después de que todos los evaluadores evalúan todas las muestras una vez, usted repite el proceso para todas las réplicas.
Usted puede tener una clasificación de referencia conocida para cada muestra: Un valor de referencia (también conocido como valor principal) es la clasificación conocida y correcta de una muestra estándar. Por ejemplo, usted tiene un conjunto de muestras de tela estándar con una clasificación conocida y correcta de la calidad de impresión. Puede usar estas muestras para determinar la capacidad de los evaluadores para clasificar correctamente la calidad de la impresión.
Debe tener al menos 50 muestras para un estudio adecuado: Usted necesita al menos 50 muestras para obtener estimaciones adecuadas de la concordancia. Seleccione muestras de todo el rango de la variación del proceso. Tener pocas réplicas de muchas muestras es mejor que tener muchas réplicas de pocas muestras.
Los evaluadores deben clasificar cada muestra por lo menos dos veces: Para determinar la capacidad de un evaluador para evaluar consistentemente la misma muestra, cada evaluador debe clasificar cada muestra por lo menos dos veces en orden aleatorio.; La replicación es importante, pero puede resultar tediosa. Cuando planifique los recursos, recuerde que es mejor tener más muestras evaluadas en orden aleatorio con menos réplicas, en lugar de tener más réplicas de menos muestras que no son evaluadas en orden aleatorio.
Debe tener al menos 3 evaluadores para un estudio adecuado: Para obtener los mejores resultados, incluya de 3 a 5 evaluadores en el estudio. Usted no debería tener menos de 3 evaluadores en el estudio, a menos que el número de evaluadores que utilizan el sistema de medición sea realmente menor que 3. Si sospecha que hay grandes diferencias entre los evaluadores, considere usar más de 3 a 5 evaluadores. Si identifica diferencias entre los evaluadores, como por ejemplo un evaluador cuya exactitud es menor que la de los demás, la consistencia frecuentemente se puede mejorar con entrenamiento.; Seleccione evaluadores que sean representativos de todos los evaluadores que utilizan el sistema de medición. Si realiza el estudio solamente con los mejores (o lo peores) evaluadores, los resultados serán sesgados y no ofrecerán una estimación exacta de las diferencias entre los evaluadores. La mejor manera de asegurar la exactitud es seleccionando los evaluadores de forma aleatoria para el estudio.
Los evaluadores deben clasificar aproximadamente el mismo número de muestras de cada categoría: Para obtener los mejores resultados, debe tener una combinación moderadamente equilibrada de muestras de las diferentes categorías para que pueda evaluar la capacidad del evaluador para clasificar las muestras de cada categoría con una precisión similar. Si tiene un porcentaje más pequeño de muestras de una categoría, las estimaciones para esa categoría pueden ser menos precisas.; Cuando la respuesta es binaria (como pasa/no pasa o sí/no), usted necesita varias muestras que sean marginalmente aceptables y varias que sean marginalmente inaceptables. Por ejemplo, un número razonable de las muestras que pasan deben pasar por un margen muy estrecho.
El análisis de concordancia de atributos debe ser balanceado: Cada evaluador debe evaluar cada muestra el mismo número de veces.