Évaluez la qualité de vos données
Contrôles de qualité des données
Les contrôles de qualité des données aident à identifier les problèmes pouvant affecter la précision, l’exhaustivité et la fiabilité des données au fil de leur passage dans un pipeline.
Activer Vérifications de la qualité des données
Vérifications de la qualité des données sont activés par défaut pour chaque Nettoyage nœud. Vous pouvez activer ou désactiver les contrôles de qualité des données pour un nœud Nettoyage individuel.
- Sélectionnez le nœud Nettoyage.
-
Ouvrez Qualité des données.
- Allumez Activer les vérifications ou éteignez.
- Sélectionnez Enregistrer d’appliquer vos modifications.
Résultats de la revue
Les Récapitulatif de la qualité des données mises à jour lorsque vous sélectionnez une étape différente afin que les détails de la colonne reflètent le résultat de l’étape sélectionnée. Ouvrez la vitre latérale pour plus d’informations.
Indicateur de problème de qualité
Indicateur sauté
Un point bleu indique que les contrôles de qualité des données ont été sautés.
Valeurs manquantes
Le contrôle qualité identifie Valeurs manquantes les enregistrements contenant des valeurs vides ou nulles dans les champs requis.
Des valeurs manquantes peuvent entraîner une analyse incomplète, des erreurs de traitement et des résultats peu fiables. La surveillance des valeurs manquantes aide à garantir que les données sont complètes et adaptées à une utilisation en aval.
Colonnes disponibles
La détection des valeurs manquantes est disponible pour toutes les colonnes.
Résolution des valeurs manquantes
- Remplacer
- Ouvrez la Remplacer boîte de dialogue pour spécifier une nouvelle valeur pour la valeur manquante.
- Exclure tous
- Créez un filtre qui exclut toutes les valeurs manquantes.
Valeurs aberrantes
Le contrôle qualité des valeurs aberrantes identifie des valeurs significativement supérieures ou inférieures à d’autres valeurs de l’ensemble de données.
Les valeurs aberrantes peuvent indiquer des erreurs de saisie de données, des problèmes de mesure, des conditions inattendues ou des changements significatifs dans un processus. La surveillance des valeurs aberrantes permet d’identifier les problèmes potentiels de qualité des données et de mettre en lumière les dossiers qui pourraient nécessiter une enquête plus approfondie.
Colonnes disponibles
La détection des valeurs aberrantes est disponible pour les colonnes numériques.
Méthode
La méthode de la plage interquartile (IQR) identifie les valeurs aberrantes en recherchant des valeurs qui se situent anormalement éloignées du milieu des 50 % des données.
Toute valeur en dehors de ces limites est considérée comme une exception.
borne inférieure = Q1−1,5×IQRBorne supérieure = Q3+1,5×IQR
Résoudre les valeurs aberrantes
- Exclure tous
- Créez un filtre qui exclut tous les cas aberrants.
Catégories rares
Le contrôle qualité identifie Catégories rares les catégories qui apparaissent rarement dans une colonne de données.
Les catégories rares sont des valeurs qui apparaissent peu fou par rapport à la taille du jeu de données. Les catégories rares peuvent indiquer des fautes de frappe, des fautes d’orthographe, des majuscules incohérentes ou d’autres problèmes de qualité des données pouvant affecter l’analyse, la modélisation statistique et les résultats de l’apprentissage automatique.
Colonnes disponibles
- Colonnes de texte
- Colonnes numériques ou date/heure qui ont 5 valeurs distinctes ou moins
La détection de catégories rares n’est pas effectuée sur des colonnes numériques ou de date/heure considérées comme des données continues. Les valeurs manquantes ne sont pas considérées comme des catégories rares.
Méthode
Minitab Data Center Calcule le pourcentage de records représentés par chaque catégorie. Toute catégorie avec un pourcentage inférieur à 5 % est considérée comme rare.
Résoudre les catégories rares
- Remplacer la valeur
- Spécifiez une nouvelle valeur pour la catégorie rare.
- Exclure la valeur
- Créez un filtre qui exclut une catégorie rare.
