노드 분할 방법 CART^® 분류

분류 트리는 원래 학습 데이터 세트의 이항 재귀 분할에서 발생합니다. 트리의 모든 부모 노드(학습 데이터의 부분 집합)는 노드에서 수집된 실제 데이터 값에 따라 다양한 방법으로 상호 배타적인 두 개의 자식 노드로 분할될 수 있습니다.

분할 절차는 예측 변수를 계량형 또는 범주형으로 처리합니다. 계량형 변수 X와 값 c의 경우 x 값이 c보다 작거나 같은 모든 레코드를 왼쪽 노드에 보내고 나머지 모든 레코드를 오른쪽 노드로 전송하여 분할이 정의됩니다. CART는 항상 두 개의 인접 값 평균을 사용하여 c를 계산합니다. N개의 고유값이 있는 계량형 변수는 부모 노드의 N-1 잠재적 분할을 생성합니다(허용된 최소 노드 크기에 대한 제한이 지정되면 실제 숫자는 더 작아집니다).

예를 들어 계량형 예측 변수의 데이터에는 55, 66 및 75 값이 있습니다. 이 변수에 대한 가능한 분할 중 하나는 모든 값을 (55+66)/2 = 60.5 이하의 모든 값을 한 자식 노드에 보내고 60.5보다 큰 모든 값을 다른 자식 노드로 보내는 것입니다. 예측 변수 값이 55인 사례는 한 노드로 이동하고 값이 66과 75인 사례는 다른 노드로 이동합니다. 이 예측 변수에 대한 다른 가능한 분할은 70.5 이하의 모든 값을 한 자식 노드에 보내고 70.5보다 큰 값을 다른 노드로 보내는 것입니다. 값이 55와 66인 사례는 한 노드로 이동하고 값이 75인 사례는 다른 노드로 이동합니다.

고유값 {c₀, c₂, …, c_k}를 가진 범주형 변수 X의 경우, 분할은 왼쪽 자식 노드로 전송되는 수준의 부분 집합으로 정의됩니다. K 수준이 있는 범주형 변수는 최대 2개 생성됩니다.^K-1-1 분할.

분류 트리에서 목표값은 K 고유 클래스를 가진 다항입니다. 트리의 주요 목표는 최대한 순수한 방법을 사용하여 개별 노드로 다른 목표 클래스를 구분하는 방법을 찾는 것입니다. 결과 터미널 노드 수는 K일 필요가 없습니다. 여러 터미널 노드를 사용하여 특정 목표 클래스를 나타낼 수 있습니다. 사용자는 목표 클래스에 대한 사전 확률을 지정할 수 있으며, 트리 성장 과정에서 CART에 의해 설명됩니다.

다음 섹션에서 Minitab은 이항 반응 변수에 대해 다음 정의를 사용합니다.

사례가 노드에 있는 경우 사건의 조건부 확률 t

사례가 노드에 있는 경우 비사건의 조건부 확률 t:

다음 섹션에서 Minitab은 다항 반응 변수에 대해 다음 정의를 사용합니다.

노드 t의 이전 조정 확률:

클래스 확률 j 주어진 노드 t:

이러한 정의는 노드 내 확률을 제공합니다. Minitab은 모든 노드 및 잠재적 분할에 대한 이러한 확률을 계산합니다. Minitab은 다음 기준 중 하나를 사용하여 이러한 확률에서 분할될 수 있는 잠재적인 분할에 대한 전반적인 개선을 계산합니다.

표기법

용어	설명
K	반응 변수의 클래스 수
	클래스에 대한 사전 확률 j
	클래스에 대한 관측치 수 j 노드에서
	클래스에 대한 관측치 수 j 데이터에서