최소 제곱 및 최대우도 추정 방법의 정의

랜덤 표본에서 모집단 모수를 추정하기 위해 가장 일반적으로 사용되는 두 가지 방법은 최대우도 추정 방법(기본)과 최소 제곱 추정 방법입니다.
최대우도 추정 방법(MLE)
우도 함수는 관측된 표본이 가능한 모수 값의 함수일 가능성을 나타냅니다. 따라서 우도 함수를 최대화하면 관측된 데이터를 생성할 가능성이 가장 큰 모수를 확인할 수 있습니다. 통계적 관점에서 최대우도 추정 방법은 대부분의 모형과 여러 가지 유형의 데이터에 다양하게 응용되고, 가장 정밀한 추정치를 산출하기 때문에 일반적으로 대규모 표본에 권장됩니다.
최소 제곱 추정 방법(LSE)
최소 제곱 추정치는 데이터 집합에서 제곱 편차의 합이 최소(최소 제곱 오차)인 점에 회귀선을 적합시킴으로써 계산합니다. 신뢰도 분석에서 선과 데이터는 확률도에 표시됩니다.

최대우도 추정 방법이 Minitab의 기본 방법인 이유

크고 완전한 데이터 집합의 경우 최소 제곱 추정 방법과 최대우도 추정 방법은 모두 일관된 결과를 제공합니다. 신뢰도 분석에서 데이터 집합은 일반적으로 작거나 중간 규모입니다. 광범위한 시뮬레이션 연구에 따르면 실패 수가 적은 소규모 표본 설계에서는 MLE 방법이 LSE 방법보다 우수합니다.1 따라서 Minitab의 기본 추정 방법은 MLE입니다.

최소 제곱 추정 방법과 비교하여 최대우도 추정 방법의 장점은 다음과 같습니다.
  • 분포 모수 추정치가 더 정확합니다.
  • 추정된 분산이 더 작습니다.
  • 모형 모수에 대한 신뢰 구간 및 검정을 높은 신뢰도로 계산할 수 있습니다.
  • 계산 시 데이터의 더 많은 정보를 사용합니다.

    데이터가 많이 관측 중단되어 고장이 아주 적은 경우, 최대우도 추정 방법은 관측 중단된 값을 포함하여 전체 데이터 집합의 정보를 사용합니다. LSE 방법은 검열된 관측값의 정보를 무시합니다.1

일반적으로 최대우도 추정 방법의 장점이 최소 제곱 추정 방법의 장점보다 더 많습니다. 최소 제곱 추정 방법은 손으로 계산하기 더 쉽고 프로그램을 작성하기가 더 쉽습니다. 최소 제곱 추정 방법은 또한 일반적으로 적합도를 평가하기 위한 확률도 사용과 관련이 있습니다. 그러나 최소 제곱 추정 방법은 확률도에 잘못된 결과를 제공할 수 있습니다. LSE 방법을 사용하는 와이불 확률 그래프의 점들이 실제로 와이불 모델이 부적절할 때 선을 따라 떨어지는 예가 존재한다.1

1이어야 합니다. Genschel, U. and Meeker, W.Q. (2010). A Comparison of Maximum Likelihood and Median-Rank Regression for Weibull Estimation. Quality Engineering, 22(4): 236–255.

모형 모수에 대한 신뢰 구간 및 검정을 최소 제곱 추정 방법과 함께 사용할 수 없는 이유는 무엇입니까?

이전 버전에서 Minitab은 최소 제곱 추정 방법을 사용할 때 모형 모수에 대한 표준 오차, 신뢰 구간 및 검정에 대한 결과를 제공했습니다. 이러한 계산된 결과는 특별한 방법을 기반으로 했습니다. 그러나 최소 제곱 추정 방법을 사용하여 모형 모수에 대한 표준 오차를 계산하는 확실한 통계적 방법은 없습니다. 따라서 기본 추정 방법을 변경하고 최소 제곱(실패 시간(X)이 순위(Y)))를선택하면 표준 오차, 신뢰구간, 모델 매개변수에 대한 검정 결과가 포함되지 않습니다. 모형 모수에 대한 신뢰 구간 및 검정을 결과에 포함하려면 최대우도 추정(기본) 방법을 사용해야 합니다.

추정 방법 변경

모수 분포 분석, 분포 ID 그림 또는 분포 개관 그림을 사용할 때 모수 추정 방법을 최대우도 추정에서 최소 제곱 추정으로 변경하려면 다음 작업을 수행하십시오.

  1. 을 선택합니다 통계분석 > 신뢰성/생존 분석 > 분포 분석(우측 관측 중단).
  2. 다음 분석 중 하나를 선택하고 적절한 버튼을 선택하세요:
    분석 단추
    모수 분포 분석 배포 적합
    분포 ID 그림 배포 적합
    분포 개관 그림 옵션
  3. 최소 제곱법(순위(Y)에 대한 수명(X))을 선택합니다.

    최소 제곱 추정 방법을 사용하는 경우 추정치는 회귀선을 확률도에 있는 점에 적합시켜 계산됩니다. 선은 수명 또는 로그(수명)(X)와 변환된 백분율(Y)에 대한 회귀 분석을 통해 구합니다.

분포의 백분위수가 추정된 분포 모수를 기반으로 하기 때문에 추정된 모수의 차이가 추정된 백분위수의 차이를 유발합니다.

Minitab에서 모수를 추정하는 대신 모수 분포 분석에 대한 모수 지정

Minitab이 매개변수를 추정하는 대신, 일부 매개변수나 모든 매개변수를 지정할 수 있습니다. 모수를 지정하는 경우 계산된 결과(예: 백분위수)는 분석에 대해 입력한 모수 값을 기반으로 합니다.

일부 모수 지정 및 다른 모수 추정

분포의 일부 모수를 지정하고 다른 모수는 Minitab이 데이터에서 추정하도록 할 수 있습니다. 일반적으로 데이터에 고장이 적거나 고장이 없는 경우 일부 모수를 추정하여 Bayes 분석을 수행합니다. 자세한 내용은 ' 고장 최소화 또는 전무 신뢰성 분석 수행법 '을 참고하세요.

  1. 을 선택합니다 통계분석 > 신뢰성/생존 분석 > 분포 분석(우측 관측 중단) > 모수 분포 분석.
  2. 선택 배포 적합.
  3. 분포에 지정하고 싶은 매개변수를 입력하세요. 지정할 수 있는 모수는 선택한 분포에 따라 다릅니다.
    분포 지정할 수 있는 모수
    Weibull 분포 형상
    3-모수 Weibull 분포 형상, 분계점 또는 둘 다
    지수 분포 없음
    2-모수 지수 분포 분계점
    분계점이 없는 다른 분포 척도
    분계점이 있는 다른 분포 척도, 분계점 또는 둘 다

    Weibull 분포의 경우 항상 척도 모수를 추정합니다. 위치 모수가 있는 분포의 경우 항상 위치 모수를 추정합니다.

모든 모수 지정

모든 매개변수를 데이터에서 추정하는 대신 과거 매개변수를 지정하세요. 다음과 같은 작업을 위해 과거 매개변수를 지정할 수 있습니다.
  • 과거 매개변수에 기반한 추정치와 현재 데이터를 기반으로 한 추정치를 비교하세요.
  • 현재 데이터가 과거 매개변수를 기반으로 한 확률 그래프에 어떻게 적합한지 확인해 보세요.
  1. 워크시트의 한 열에 분포의 모수 추정치를 입력합니다. 분석할 변수가 두 개 이상인 경우 두 개 이상의 모수 추정치 열을 입력할 수 있습니다. 다른 분포의 경우 표에 표시된 순서대로 열에 모수 추정치를 입력합니다.
    분포 모수
    Weibull 분포 형상 및 척도 입력
    지수 분포 평균 입력
    다른 2-모수 분포 위치 및 척도 입력
    2-모수 지수 분포 척도 및 분계점 입력
    3-모수 Weibull 분포 형상, 척도 및 분계점 입력
    다른 3-모수 분포 위치, 척도 및 분계점 입력
  2. 을 선택합니다 통계분석 > 신뢰성/생존 분석 > 분포 분석(우측 관측 중단) > 모수 분포 분석.
  3. 선택 배포 적합.
  4. 에서, 분포 모수선택 과거 추정치 사용
  5. 에 과거 추정치추정된 매개변수 열을 입력합니다. 샘플이 여러 개 있다면, 각 샘플마다 열을 입력하세요.

모수 분포 분석에 대한 공통 형상 또는 척도 모수 가정

여러 샘플에 대해 매개변수 분포 분석을 수행할 때, 분석이 추정치의 공통 형태나 척도 매개변수를 갖도록 할 수 있습니다.

  1. 을 선택합니다 통계분석 > 신뢰성/생존 분석 > 분포 분석(우측 관측 중단) > 모수 분포 분석.
  2. 선택 배포 적합.
  3. 에서 분포 모수귀하의 분포에 적합한 옵션을 선택하세요. 예를 들어, 분석에서 표본이 와이불 분포를 따른다고 가정한다면, 를 선택 동일한 형상 모수를 가정하여 데이터에서 추정 한다.

    그런 다음 Minitab에서는 추정치를 계산할 때 공통 형상 또는 척도 모수를 가정합니다. 예를 들어, 평균은 다르지만 분산이 같은 독립적이고 정규분포인 3개의 표본이 있다고 가정해 봅시다. 각 표본의 평균을 추정하기 위해 Minitab에서는 분산의 합동 추정치를 사용합니다. 이 접근 방법은 다른 분포에도 일반화됩니다. 하지만, 구체적인 결과는 분석을 위해 선택한 추정 방법에 따라 다릅니다.

공통 형상 또는 척도 모수를 사용하는 최대우도 추정 방법

최대우도 방법의 경우 Minitab에서는 로그 우도 함수를 사용합니다. 이 경우 모형의 로그 우도 함수는 각 로그 우도 함수에서 가정된 같은 형상 모수를 사용하는 개별 로그 우도 함수의 합입니다. 그 결과로 얻어지는 전체 로그 우도 함수는 각 그룹에 연관된 척도 모수 및 공통 형상 모수를 얻기 위해 최대화됩니다. 자세한 내용은 다음 참고 문헌을 참조하십시오. W. Nelson (1982). Applied Life Data Analysis, Chapter 12. John Wiley & Sons.

공통 형상 또는 척도 모수를 사용하는 최소 제곱 추정 방법

Minitab은 먼저 각 그룹의 y-좌표와 x-좌표를 계산합니다(자세한 내용은 '플롯 포인트'와 '적합선' 주제 모수 분포 분석의 확률도에 대한 방법 및 공식를 참조하세요). 그런 다음 최소 제곱 추정 방법 추정치를 얻기 위해 다음 단계를 수행합니다.

  1. x-좌표 데이터를 통합합니다.
  2. y-좌표 데이터를 통합합니다.
  3. 지시 변수(또는 기준 변수)를 사용하여 그룹을 식별합니다.
  4. x-좌표(반응)를 모든 y-좌표(계량형 예측 변수) 및 지시 변수(범주형 예측 변수)에 의해 정의된 예측 변수에 대해 회귀 분석합니다.
    참고

    로그-위치-척도 분포(예: Weibull)의 경우 x-좌표는 로그-변환되어야 합니다. 그룹은 공통 형상 모수의 역수인 같은 기울기를 가져야 합니다. 각 그룹의 척도 모수는 각 그룹에 대한 절편을 거듭제곱하여 얻습니다.