データ品質チェック
データ品質チェックは、パイプラインを通過するデータの正確性、完全性、信頼性に影響を与える問題を特定するのに役立ちます。
有効化 データ品質チェック
データ品質チェック 各 クリーンアップ ノードでデフォルトで有効です。個々の クリーンアップ ノードごとにデータ品質チェックをオン・オフできます。
- クリーンアップ ノードを選択します。
-
データ品質 を開きます。
- チェックを有効化 オンまたはオフを切り替えます。
- 変更を適用するために 保存 を選択してください。
レビュー結果
別のステップを選択すると データ品質の概要 が更新され、列の詳細が選択したステップの結果を反映します。サイドパネルを開けて、詳細を確認してください。
品質問題指標
スキップインジケーター
青い点はデータの品質チェックが省略されたことを示します。
欠損値
欠損値 の品質チェックは、必須フィールドに空またはnullの値が含まれているレコードを特定します。
欠損値は不完全な解析、処理ミス、信頼性の低い結果につながる可能性があります。失われた値の監視は、データの完全性を確保し、後続の利用に適していることを保証します。
利用可能な列
欠損検出はすべての列で利用可能です。
欠損値を解決する
- 置換
- 置換 ダイアログを開き、欠損した値を新しい指定します。
- すべて除外してください
- すべての欠落値を除外するフィルターを作成します。
外れ値
Outliers の品質チェックでは、データセット内の他の値よりも有意に高い値や低い値を特定します。
異常値はデータ入力エラー、測定問題、予期せぬ状況、またはプロセスにおける意味のある変化を示すことがあります。異常値の監視は、潜在的なデータ品質問題を特定し、さらなる調査が必要な記録を浮き彫りにするのに役立ちます。
利用可能な列
数値列には外れ値検出が可能である。
方法
四分位範囲(IQR) 法は、データの中間50%から異常に大きく離れた値を探すことで外れ値を特定します。
これらの範囲外の値は外れ値とみなされます。
下限=Q1−1.5×IQR上限=Q3+1.5×IQR
解決の外れ値
- すべて除外してください
- すべての外れ値を除外するフィルターを作成しましょう。
希少なカテゴリー
レアカテゴリ の品質チェックは、データカラム内でまれに出現するカテゴリを特定します。
稀なカテゴリとは、データセットの規模に比べてまれに現れる値のことです。稀なカテゴリは誤字、スペルミス、大小文字の不一致、その他のデータ品質の問題を示し、分析、統計モデリング、機械学習の結果に影響を与えることがあります。
利用可能な列
- テキスト列
- 5つ以下の異なる値を持たない数値または日付・時間の列
レアカテゴリ検出は、連続データとして扱われる数値列や日付・時刻列では行われません。欠損値は稀なカテゴリとして扱われません。
方法
Minitab Data Center 各カテゴリに代表されるレコードの割合を計算します。5%未満の割合のカテゴリーは希少とみなされます。
希少カテゴリーの解決
- 値を置換
- レアカテゴリの新しい値を指定します。
- 値を除外
- 希少なカテゴリを除外するフィルターを作成します。
