数据质量检查
数据质量检查有助于识别影响数据在流水线中准确性、完整性和可靠性的问题。
启用 数据质量检查
数据质量检查 每个节点默认 清理 启用。你可以为单个 清理 节点开启或关闭数据质量检查。
- 选择 清理 节点。
-
打开 数据质量。
- 开关 启用检查 或关闭。
- 选择 保存 应用您的更改。
评审结果
当你选择不同步骤时，这些信息 数据质量汇总 会更新，使列详情反映所选步骤的结果。打开侧边窗格了解更多信息。
质量问题指标
橙色点表示检测到数据质量问题。
跳过指示器
蓝点表示数据质量检查被跳过。
缺失值
质量检查 的 缺失值 记录中包含空值或空值的记录。
缺失值可能导致分析不完整、处理错误和结果不可靠。监控缺失值有助于确保数据完整且适合后续使用。
可用列
所有列均支持缺失值检测。
解析缺失值
当数据包含缺失值时，会 数据质量汇总 显示缺失值的数量和可用操作。
- 替换
- 打开 替换 对话框，为缺失值指定一个新值。
- 排除所有
- 创建一个排除所有缺失值的过滤器。
异常值
异常 值的质量检查会识别出显著高于或低于数据集中其他值的数值。
异常值可能表示数据录入错误、测量问题、意外状况或流程中的重大变化。监控异常值有助于识别潜在的数据质量问题，并突出需要进一步调查的记录。
可用列
对于数值列，支持异常值检测。
方法
四 分位数范围（IQR） 方法通过寻找离数据中50%异常远离的值来识别离群值。
任何超出这些界限的数值都被视为异常值。
下界=Q1−1.5×IQR上界=Q3+1.5×IQR
解决异常值
当数据包含异常值时，会 数据质量汇总 显示异常值的数量，并允许你排除它们。
- 排除所有
- 创建一个排除所有异常值的过滤器。
稀有类别
质量 稀有类别 检查识别数据列中出现频率较低的类别。
稀有类别是指相对于数据集规模出现频率较低的数值。罕见类别可能表示错别字、拼写错误、大小写不一致或其他数据质量问题，这些问题会影响分析、统计建模和机器学习结果。
可用列
以下列可进行稀有类别检测：
- 文本列
- 数值或日期/时间列，且有5个或更少的独立值
稀有类别检测不对被视为连续数据的数字列或日期/时间列进行。缺失值不被视为罕见类别。
方法
Minitab Data Center 计算每个类别所代表的记录百分比。任何比例低于5%的类别都被视为稀有。
解决稀有类别
当数据包含稀有类别时，会 数据质量汇总 显示数值和可用操作。
- 替换值
- 为稀有类别指定一个新值。
- 不包括值
- 创建一个排除稀有类别的过滤器。
