Bewerten Sie die Qualität Ihrer Daten
Datenqualitätsprüfungen
Datenqualitätsprüfungen helfen dabei, Probleme zu identifizieren, die die Genauigkeit, Vollständigkeit und Zuverlässigkeit der Daten während des Durchlaufs einer Pipeline beeinflussen können.
Enable Datenqualitätsprüfungen
Datenqualitätsprüfungen sind standardmäßig für jeden Bereinigen Knoten aktiviert. Man kann die Datenqualitätsprüfungen für einen einzelnen Bereinigen ein- oder ausschalten.
- Wählen Sie den Bereinigen.
-
Öffnen Sie die Datenqualität.
- Ein- Prüfungen aktivieren oder ausschalten.
- Wählen Sie Speichern aus, um Ihre Änderungen anzuwenden.
Überprüfungsergebnisse
Die Aktualisierungen Zusammenfassung der Datenqualität sind, wenn du einen anderen Schritt auswählst, sodass die Spaltendetails das Ergebnis des ausgewählten Schrittes widerspiegeln. Öffnen Sie den Seitenbereich für weitere Informationen.
Qualitätsindikator
Übersprungener Indikator
Ein blauer Punkt zeigt an, dass die Datenqualitätsprüfungen übersprungen wurden.
Fehlende Werte
Die Qualitätsprüfung für Fehlende Werte identifiziert Datensätze, die leere oder null Werte in den erforderlichen Feldern enthalten.
Fehlende Werte können zu unvollständigen Analysen, Verarbeitungsfehlern und unzuverlässigen Ergebnissen führen. Die Überwachung fehlender Werte hilft, sicherzustellen, dass die Daten vollständig und für den nachgelagerten Einsatz geeignet sind.
Verfügbare Spalten
Die Erkennung fehlender Werte ist für alle Spalten verfügbar.
Fehlende Werte auflösen
- Ersetzen
- Öffne den Dialog Ersetzen, um einen neuen Wert für den fehlenden Wert anzugeben.
- Alle ausschließen
- Erstellen Sie einen Filter, der alle fehlenden Werte ausschließt.
Ausreißer
Die Qualitätsprüfung für Outliers identifiziert Werte, die signifikant höher oder niedriger sind als andere Werte im Datensatz.
Ausreißer können auf Dateneingabefehler, Messprobleme, unerwartete Bedingungen oder bedeutende Veränderungen in einem Prozess hinweisen. Die Überwachung von Ausreißern hilft, potenzielle Qualitätsprobleme der Daten zu identifizieren und hebt Datensätze hervor, die eine weitere Untersuchung erfordern.
Verfügbare Spalten
Ausreißererkennung ist für numerische Spalten verfügbar.
Methode
Die Interquartile Range (IQR)- Methode identifiziert Ausreißer, indem sie nach Werten sucht, die ungewöhnlich weit von den mittleren 50 % der Daten entfernt sind.
Jeder Wert außerhalb dieser Grenzen gilt als Ausreißer.
Untere Schranke=Q1−1,5×IQRObere Grenze=Q3+1,5×IQR
Ausreißer auflösen
- Alle ausschließen
- Erstellen Sie einen Filter, der alle Ausreißer ausschließt.
Seltene Kategorien
Die Qualitätskontrolle für Seltene Kategorien identifiziert Kategorien, die selten in einer Datenspalte auftreten.
Seltene Kategorien sind Werte, die im Vergleich zur Größe des Datensatzes seltener auftreten. Seltene Kategorien können auf Tippfehler, Rechtschreibfehler, inkonsistente Großschreibung oder andere Qualitätsprobleme der Datenqualität hinweisen, die Analyse, statistische Modellierung und Ergebnisse des maschinellen Lernens beeinflussen können.
Verfügbare Spalten
- Textspalten
- Numerische oder Datum/Uhrzeit-Spalten mit 5 oder weniger unterschiedlichen Werten
Die Erkennung seltener Kategorien erfolgt nicht bei numerischen oder Datum/Uhrzeit-Spalten, die als kontinuierliche Daten behandelt werden. Fehlende Werte werden nicht als seltene Kategorien behandelt.
Methode
Minitab Data Center berechnet den Prozentsatz der Datensätze, die jede Kategorie repräsentiert. Jede Kategorie mit einem Prozentsatz von weniger als 5 % gilt als selten.
Seltene Kategorien auflösen
- Wert ersetzen
- Gib einen neuen Wert für die seltene Kategorie an.
- Wert ausschließen
- Erstellen Sie einen Filter, der eine seltene Kategorie ausschließt.
