데이터 품질 검사
데이터 품질 검사는 데이터가 파이프라인을 통과할 때 정확성, 완전성, 신뢰성에 영향을 미칠 수 있는 문제를 식별하는 데 도움을 줍니다.
이노이브 데이터 품질 검사
데이터 품질 검사 각 노드에서 정리 기본적으로 활성화되어 있습니다. 개별 정리 노드에 대해 데이터 품질 검사를 켜거나 끌 수 있습니다.
- 정리 노드를 선택하세요.
-
을 엽니다 데이터 품질.
- 켜거나 끄세요 검사 활성화 .
- 변경 사항을 적용하는 것을 선택 저장 하세요.
심사 결과
데이터 품질 요약 다른 단계를 선택하면 해당 단계의 결과를 반영하는 열의 세부 정보가 업데이트됩니다. 더 많은 정보를 원하시면 측면 창을 열어보세요.
품질 문제 지표
건너뛰는 표시기
파란색 점은 데이터 품질 검사가 건너뛴 것을 나타냅니다.
결측값
품질 검사 결측값 는 필수 필드에 빈 값이나 null 값을 포함하는 레코드를 식별합니다.
누락된 값은 불완전한 분석, 처리 오류, 신뢰할 수 없는 결과를 초래할 수 있습니다. 누락 값 모니터링은 데이터가 완전하고 후속 사용에 적합한지 확인하는 데 도움이 됩니다.
사용 가능한 열
모든 열에 대해 누락값 탐지가 가능합니다.
누락값 해결
- 바꾸기
- 누락된 값에 대해 새로운 값을 지정하기 위해 대화상자를 바꾸기 엽니다.
- 모두 제외하세요
- 모든 누락된 값을 제외하는 필터를 만드세요.
특이치
이상치 에 대한 품질 검사는 데이터셋 내 다른 값보다 유의미하게 높거나 낮은 값을 식별합니다.
이상치는 데이터 입력 오류, 측정 문제, 예상치 못한 조건, 또는 프로세스의 의미 있는 변화를 나타낼 수 있습니다. 이상치를 모니터링하면 잠재적인 데이터 품질 문제를 식별하고 추가 조사가 필요한 기록을 강조할 수 있습니다.
사용 가능한 열
이상치 감지 기능은 수치 열에 적용됩니다.
방법
사분위수 범위(Interquatile Range, IQR) 방법은 데이터의 중간 50%에서 비정상적으로 멀리 떨어진 값을 찾아 이상치를 식별합니다.
이 범위를 벗어난 값은 이상치로 간주됩니다.
하한=Q1−1.5×IQR상한=Q3+1.5×IQR
해결 이상치
- 모두 제외하세요
- 모든 이상치를 제외하는 필터를 만드세요.
희귀 분류
품질 검사 희귀 범주 는 데이터 열에서 드물게 나타나는 범주를 식별합니다.
희귀 범주는 데이터셋 크기에 비해 드물게 발생하는 값입니다. 희귀 범주는 오타, 오타, 일관된 대문자 사용, 또는 분석, 통계 모델링, 머신러닝 결과에 영향을 줄 수 있는 기타 데이터 품질 문제를 나타낼 수 있습니다.
사용 가능한 열
- 텍스트 열
- 5개 이하의 서로 다른 값을 가진 숫자 또는 날짜/시간 열
희귀 카테고리 탐지는 연속 데이터로 취급되는 숫자 또는 날짜/시간 열에 대해서는 수행되지 않습니다. 누락 값은 희귀한 범주로 취급되지 않습니다.
방법
Minitab Data Center 각 카테고리가 대표하는 기록의 비율을 계산합니다. 5% 미만의 비율을 가진 카테고리는 희귀한 것으로 간주됩니다.
희귀 범주 해결
- 값 대체
- 희귀 범주에 대해 새로운 값을 지정하세요.
- 값 제외
- 희귀 카테고리를 제외하는 필터를 만드세요.
