Considerações de dados para Criar worksheet para análise de concordância por atributos

Para garantir que seus resultados sejam válidos, considere as seguintes diretrizes ao coletar dados.

Avaliadores devem avaliar amostras em uma ordem aleatória: Para garantir que a ordem de coleta de dados não influencie os resultados, cada avaliador deve avaliar todas as amostras aleatoriamente dentro de uma réplica. Depois que todos os avaliadores avaliarem todas as amostras uma vez, repita o processo para todas as réplicas.
Você pode ter uma classificação de referência conhecida para cada amostra: O valor de referência (também chamado de valor mestre) é a classificação conhecida e correta para uma amostra padrão. Por exemplo, você tem um conjunto de amostras de tecido padrão com uma classificação conhecida e qualidade de impressão correta. Você usa essas amostras para avaliar a capacidade dos avaliadores de classificar a qualidade de impressão corretamente.
Você deve ter, pelo menos, 50 amostras para que um estudo seja considerado adequado: Você precisa de pelo menos 50 amostras para obter estimativas adequadas de concordância. Selecione amostras de toda a gama de variação do processo. É melhor ter menos réplicas de muitas amostras do que ter muitas réplicas de menos amostras.
Os avaliadores devem classificada cada amostra pelo menos duas vezes: Para avaliar a capacidade de um avaliador para avaliar consistentemente a mesma amostra, cada avaliador deve classificar cada amostra, pelo menos, duas vezes aleatoriamente.; A replicação é importante, mas pode ser tediosa. Ao planejar recursos, lembre-se que é melhor ter mais amostras avaliadas em ordem aleatória com menos réplicas, em vez de mais réplicas de menos amostras que não são avaliadas em ordem aleatória.
Você deve ter pelo menos três avaliadores para que um estudo seja considerado adequado: Para obter os melhores resultados, inclua 3 a 5 avaliadores em seu estudo. Você não deve ter menos de três avaliadores do estudo, a menos que o número de avaliadores que usam o sistema de medição seja, na verdade, menos de 3. Se você suspeitar que há grandes diferenças entre os avaliadores, considere o uso de mais de 3 a 5 avaliadores. Caso sejam identificadas diferenças entre os avaliadores, como um avaliador cuja exatidão seja inferior à dos outros avaliadores, muitas vezes a consistência será melhorada com treinamento.; Selecione avaliadores que são representativos de todos os avaliadores que usam o sistema de medição. Se você realizar o estudo apenas com os melhores (ou piores) avaliadores, os resultados serão tendenciosos e não irão fornecer uma estimativa precisa das diferenças do avaliador. A melhor maneira de garantir a exatidão é selecionar aleatoriamente os avaliadores para o estudo.
Os avaliadores devem classificar aproximadamente o mesmo número de amostras de cada categoria: Para obter os melhores resultados, você deve ter uma mistura moderadamente equilibrada de amostras das diferentes categorias para que seja possível avaliar a capacidade do avaliador avaliar amostras de cada categoria com precisão semelhante. Se você tem uma porcentagem menor de amostras de uma categoria, as estimativas para essa categoria podem ser menos precisas.; Quando a resposta é binária (como aprovação/reprovação, ou sim/não), você precisa de várias amostras que sejam marginalmente aceitáveis e vários que sejam marginalmente inaceitáveis. Por exemplo, um número razoável de que as amostras devem passar apenas de passagem.
A análise de concordância por atributos deve ser balanceada: Cada avaliador deve avaliar cada amostra o mesmo número de vezes.