최소 제곱 및 최대우도 추정 방법의 정의

랜덤 표본에서 모집단 모수를 추정하기 위해 가장 일반적으로 사용되는 두 가지 방법은 최대우도 추정 방법(기본)과 최소 제곱 추정 방법입니다.
최대우도 추정 방법(MLE)
우도 함수는 관측된 표본이 가능한 모수 값의 함수일 가능성을 나타냅니다. 따라서 우도 함수를 최대화하면 관측된 데이터를 생성할 가능성이 가장 큰 모수를 확인할 수 있습니다. 통계적 관점에서 최대우도 추정 방법은 대부분의 모형과 여러 가지 유형의 데이터에 다양하게 응용되고, 가장 정밀한 추정치를 산출하기 때문에 일반적으로 대규모 표본에 권장됩니다.
최소 제곱 추정 방법(LSE)
최소 제곱 추정치는 데이터 집합에서 제곱 편차의 합이 최소(최소 제곱 오차)인 점에 회귀선을 적합시킴으로써 계산합니다. 신뢰도 분석에서 선과 데이터는 확률도에 표시됩니다.

최대우도 추정 방법이 Minitab의 기본 방법인 이유

크고 완전한 데이터 집합의 경우 최소 제곱 추정 방법과 최대우도 추정 방법은 모두 일관된 결과를 제공합니다. 신뢰도 분석에서 데이터 집합은 일반적으로 작거나 중간 규모입니다. 광범위한 시뮬레이션 연구에 따르면 고장 수가 아주 적은 작은 표본 설계에서는 최대우도 추정 방법이 최소 제곱 추정 방법보다 낫습니다.1 따라서 Minitab의 기본 추정 방법은 최대우도 추정 방법입니다.

최소 제곱 추정 방법과 비교하여 최대우도 추정 방법의 장점은 다음과 같습니다.
  • 분포 모수 추정치가 더 정확합니다.
  • 추정된 분산이 더 작습니다.
  • 모형 모수에 대한 신뢰 구간 및 검정을 높은 신뢰도로 계산할 수 있습니다.
  • 계산 시 데이터의 더 많은 정보를 사용합니다.

    데이터가 많이 관측 중단되어 고장이 아주 적은 경우, 최대우도 추정 방법은 관측 중단된 값을 포함하여 전체 데이터 집합의 정보를 사용합니다. 최소 제곱 추정 방법은 관측 중단된 관측치의 정보를 무시합니다.1

일반적으로 최대우도 추정 방법의 장점이 최소 제곱 추정 방법의 장점보다 더 많습니다. 최소 제곱 추정 방법은 손으로 계산하기 더 쉽고 프로그램을 작성하기가 더 쉽습니다. 최소 제곱 추정 방법은 또한 일반적으로 적합도를 평가하기 위한 확률도 사용과 관련이 있습니다. 그러나 최소 제곱 추정 방법은 확률도에 잘못된 결과를 제공할 수 있습니다. Weibull 모형이 실제로 부적절한 경우 최소 제곱 추정 방법을 사용하는 Weibull 확률도의 점들이 선을 이루는 예가 존재합니다.1

1. Genschel, U. and Meeker, W.Q. (2010). A Comparison of Maximum Likelihood and Median-Rank Regression for Weibull Estimation. Quality Engineering, 22(4): 236–255.

모형 모수에 대한 신뢰 구간 및 검정을 최소 제곱 추정 방법과 함께 사용할 수 없는 이유는 무엇입니까?

이전 버전에서 Minitab은 최소 제곱 추정 방법을 사용할 때 모형 모수에 대한 표준 오차, 신뢰 구간 및 검정에 대한 결과를 제공했습니다. 이러한 계산된 결과는 특별한 방법을 기반으로 했습니다. 그러나 최소 제곱 추정 방법을 사용하여 모형 모수에 대한 표준 오차를 계산하는 확실한 통계적 방법은 없습니다. 따라서 기본 추정 방법을 변경하고 최소 제곱(순위(Y)에 대한 수명(X))을 선택할 경우 결과에 모형 모수에 대한 표준 오차, 신뢰 구간 및 검정에 대한 결과가 포함되지 않습니다. 모형 모수에 대한 신뢰 구간 및 검정을 결과에 포함하려면 최대우도 추정(기본) 방법을 사용해야 합니다.

추정 방법 변경

모수 분포 분석, 분포 ID 그림 또는 분포 개관 그림을 사용할 때 모수 추정 방법을 최대우도 추정에서 최소 제곱 추정으로 변경하려면 다음 작업을 수행하십시오.

  1. 통계분석 > 신뢰성/생존 분석 > 분포 분석(우측 관측 중단) 또는 분포 분석(임의 관측 중단)을 선택합니다.
  2. 다음 분석 중 하나를 선택하고 적절한 단추를 클릭합니다.
    분석 단추
    모수 분포 분석 추정치
    분포 ID 그림 옵션
    분포 개관 그림 옵션
  3. 최소 제곱법(순위(Y)에 대한 수명(X))을 선택합니다.

    최소 제곱 추정 방법을 사용하는 경우 추정치는 회귀선을 확률도에 있는 점에 적합시켜 계산됩니다. 선은 수명 또는 로그(수명)(X)와 변환된 백분율(Y)에 대한 회귀 분석을 통해 구합니다.

분포의 백분위수가 추정된 분포 모수를 기반으로 하기 때문에 추정된 모수의 차이가 추정된 백분위수의 차이를 유발합니다.

최대우도 추정의 시작 값을 입력하거나 최대 반복 횟수 변경

최대우도 추정 방법을 사용하여 모수를 추정하는 경우 알고리즘의 시작 값을 지정하고 최대 반복 횟수를 지정할 수 있습니다.

  1. 워크시트의 한 열에 분포에 대한 모수 추정치를 입력합니다.
    시작 추정치가 진짜 해의 근처에 있지 않으면 최대우도 해가 수렴하지 않을 수 있으므로 모수 추정치에 근사한 시작 값을 입력해야 합니다. 다른 분포의 경우 워크시트에 이 표에 표시된 순서대로 모수 추정치를 입력합니다.
    분포 모수
    Weibull 분포 형상 및 척도 입력
    지수 분포 평균 입력
    다른 2-모수 분포 위치 및 척도 입력
    2-모수 지수 분포 척도 및 분계점 입력
    3-모수 Weibull 분포 형상, 척도 및 분계점 입력
    다른 3-모수 분포 위치, 척도 및 분계점 입력
  2. 통계분석 > 신뢰성/생존 분석 > 분포 분석(우측 관측 중단) > 모수 분포 분석 또는 통계분석 > 신뢰성/생존 분석 > 분포 분석(임의 관측 중단) > 모수 분포 분석을 선택합니다.
  3. 옵션을(를) 클릭합니다.
  4. 시작 추정치 사용에 알고리즘의 시작 값 열을 입력합니다.
  5. 최대 반복 횟수에 수렴에 도달하기 위한 최대 반복 횟수를 입력합니다(기본값: 20).

    Minitab에서는 반복 공정을 통해 최대우도 추정치를 얻습니다. 수렴되기 전에 최대 반복 횟수에 도달하면 알고리즘이 중단됩니다.

Minitab에서 모수를 추정하는 대신 모수 분포 분석에 대한 모수 지정

모수 분포 분석(우측 관측 중단)모수 분포 분석(임의 관측 중단)에 추정 방법 중 하나를 사용할 수 있습니다. 그러나 Minitab에서 세 가지 방법 중 하나를 사용하여 모수를 추정하도록 하는 대신 일부 또는 전체 모수를 지정할 수도 있습니다. 모수를 지정하는 경우 계산된 결과(예: 백분위수)는 분석에 대해 입력한 모수 값을 기반으로 합니다.

일부 모수 지정 및 다른 모수 추정

분포의 일부 모수를 지정하고 다른 모수는 Minitab이 데이터에서 추정하도록 할 수 있습니다. 일반적으로 데이터에 고장이 적거나 고장이 없는 경우 일부 모수를 추정하여 Bayes 분석을 수행합니다. 자세한 내용은 고장이 적거나 없는 경우 신뢰도 분석을 수행하는 방법을 참조하십시오.

  1. 통계분석 > 신뢰성/생존 분석 > 분포 분석(우측 관측 중단) > 모수 분포 분석 또는 통계분석 > 신뢰성/생존 분석 > 분포 분석(임의 관측 중단) > 모수 분포 분석을 선택합니다.
  2. 추정치을(를) 클릭합니다.
  3. Bayes 분석에 분포에 지정하려는 모수를 입력합니다. 지정할 수 있는 모수는 선택한 분포에 따라 다릅니다.
    분포 지정할 수 있는 모수
    Weibull 분포 형상
    3-모수 Weibull 분포 형상, 분계점 또는 둘 다
    지수 분포 없음
    2-모수 지수 분포 분계점
    분계점이 없는 다른 분포 척도
    분계점이 있는 다른 분포 척도, 분계점 또는 둘 다

    Weibull 분포의 경우 항상 척도 모수를 추정합니다. 위치 모수가 있는 분포의 경우 항상 위치 모수를 추정합니다.

모든 모수 지정

모든 모수를 데이터에서 추정하는 대신 지정할 수 있습니다. 과거 모수를 지정하여 과거 모수 기반 추정치를 현재 데이터 기반 추정치와 비교하거나 현재 데이터가 과거 모수 기반 확률도에 어떻게 적합되는지 확인할 수 있습니다.

  1. 워크시트의 한 열에 분포의 모수 추정치를 입력합니다. 분석할 변수가 두 개 이상인 경우 두 개 이상의 모수 추정치 열을 입력할 수 있습니다. 다른 분포의 경우 표에 표시된 순서대로 열에 모수 추정치를 입력합니다.
    분포 모수
    Weibull 분포 형상 및 척도 입력
    지수 분포 평균 입력
    다른 2-모수 분포 위치 및 척도 입력
    2-모수 지수 분포 척도 및 분계점 입력
    3-모수 Weibull 분포 형상, 척도 및 분계점 입력
    다른 3-모수 분포 위치, 척도 및 분계점 입력
  2. 통계분석 > 신뢰성/생존 분석 > 분포 분석(우측 관측 중단) > 모수 분포 분석 또는 통계분석 > 신뢰성/생존 분석 > 분포 분석(임의 관측 중단) > 모수 분포 분석을 선택합니다.
  3. 옵션을(를) 클릭합니다.
  4. 과거 추정치 사용을 선택합니다.
  5. 과거 추정치 사용에 추정된 모수의 열을 입력합니다. 분석할 변수가 두 개 이상인 경우 변수를 입력한 것과 동일한 순서로 추정치의 열을 입력합니다.

모수 분포 분석에 대한 공통 형상 또는 척도 모수 가정

모수 분포 분석을 수행할 때 Minitab에서 추정치에 대한 공통 형상 또는 척도 모수를 가정하도록 할 수 있습니다.

  1. 통계분석 > 신뢰성/생존 분석 > 분포 분석(우측 관측 중단) > 모수 분포 분석 또는 통계분석 > 신뢰성/생존 분석 > 분포 분석(임의 관측 중단) > 모수 분포 분석을 선택합니다.
  2. 추정치을(를) 클릭합니다.
  3. 추정 방법에서 공통 형상 모수(기울기-Weibull) 또는 척도 모수(1/기울기-기타 분포) 가정을 선택합니다.

    그런 다음 Minitab에서는 추정치를 계산할 때 공통 형상 또는 척도 모수를 가정합니다. 예를 들어, 평균은 다르지만 분산은 같은 정규 분포를 따르는 독립적인 표본이 2개(또는 더 일반적으로 k>2) 있다고 가정합니다. 각 표본의 평균을 추정하기 위해 Minitab에서는 분산의 합동 추정치를 사용합니다. 이 접근 방법은 다른 분포에도 일반화됩니다. 하지만, 구체적인 결과는 분석을 위해 선택한 추정 방법에 따라 다릅니다.

공통 형상 또는 척도 모수를 사용하는 최대우도 추정 방법

최대우도 방법의 경우 Minitab에서는 로그 우도 함수를 사용합니다. 이 경우 모형의 로그 우도 함수는 각 로그 우도 함수에서 가정된 같은 형상 모수를 사용하는 개별 로그 우도 함수의 합입니다. 그 결과로 얻어지는 전체 로그 우도 함수는 각 그룹에 연관된 척도 모수 및 공통 형상 모수를 얻기 위해 최대화됩니다. 자세한 내용은 다음 참고 문헌을 참조하십시오: W. Nelson (1982). Applied Life Data Analysis, Chapter 12. John Wiley & Sons.

공통 형상 또는 척도 모수를 사용하는 최소 제곱 추정 방법

Minitab에서는 먼저 각 그룹에 대한 y-좌표와 x-좌표를 계산합니다(모수 분포 분석(우측 관측 중단)의 확률도에 대한 방법 및 공식의 "표시 점"과 "적합선" 항목 참고). 그런 다음 최소 제곱 추정 방법 추정치를 얻기 위해 다음 단계를 수행합니다.

  1. x-좌표 데이터를 통합합니다.
  2. y-좌표 데이터를 통합합니다.
  3. 지시 변수(또는 기준 변수)를 사용하여 그룹을 식별합니다.
  4. x-좌표(반응)를 모든 y-좌표(계량형 예측 변수) 및 지시 변수(범주형 예측 변수)에 의해 정의된 예측 변수에 대해 회귀 분석합니다.
    참고

    로그-위치-척도 분포(예: Weibull)의 경우 x-좌표는 로그-변환되어야 합니다. 그룹은 공통 형상 모수의 역수인 같은 기울기를 가져야 합니다. 각 그룹의 척도 모수는 각 그룹에 대한 절편을 거듭제곱하여 얻습니다.