最小二乘估计方法和极大似然估计方法

什么是最小二乘估计方法和极大似然估计方法？

两种常用的随机样本总体参数估计方法是最大似然估计法（默认方法）和最小二乘估计法。

最大似然估计法（MLE）: 似然函数表示观测样本在可能参数值下的概率。因此，通过最大化似然函数，可以确定最可能产生观测数据的参数。从统计学观点来看，一般建议对大样本使用 MLE，因为此方法是通用的，适用于大多数模型和不同类型的数据，而且会产生最精确的估计值。
最小二乘估计方法 (LSE): 最小二乘估计值是通过将回归线拟合到数据集中的点来计算的，这些数据集具有最小的平方差和（最小二乘误）。在可靠性分析中，回归线和数据将标绘在概率图上。

为什么 MLE 是 Minitab 中使用的默认方法？

对于大型的完整数据集，无论是 LSE 方法还是 MLE 方法都可提供一致的结果。在可靠性应用中，数据集通常为中小型数据集。大量模拟研究表明，对于只有少数失效的小样本设计，MLE 方法优于 LSE 方法。¹ 因此，Minitab 的默认估计方法是 MLE。

MLE 方法相比于 LSE 方法的优点如下：

分布参数估计值更精确。
估计方差更小。
可以对模型参数的置信区间和检验进行可靠的计算。
计算过程使用数据中的信息更多。
当由于数据删失严重而只有几个故障时，MLE 方法使用整个数据集（包括删失值）中的信息。LSE 方法忽略已删失的观测值中的信息。伦敦证券交易所的方法忽略了被审查的观测数据中的信息。¹

通常，MLE 方法的优点大于 LSE 方法的优点。LSE 方法更便于手工计算而且更便于编程。在以前，LSE 还与使用概率图相关联，来评估拟合优度。但是，LSE 方法可能会在概率图上提供令人误解的结果。存在一些例子，在使用LSE方法的魏布尔概率图上，点沿直线落下，而实际上韦布尔模型并不适用。¹

1. Genschel, U. and Meeker, W.Q. (2010).“对极大似然和中位数秩回归在 Weibull 估计方面的比较”。 Quality Engineering, 22(4): 236–255.

为什么模型参数的置信区间和检验不适用于 LSE 方法？

在早期版本中，Minitab 在使用 LSE 方法时，为模型参数的标准误、置信区间和检验提供计算结果。这些计算结果基于特殊方法。但是，尚未建立可接受的统计方法来使用 LSE 方法为模型参数计算标准误。因此，如果你更改默认估计方法并选择最小二乘法（失败时间（X）在排名（Y）上），你的输出将不包含标准误、置信区间和模型参数检验的计算结果。如果您希望在结果中包括模型参数的置信区间和检验，则必须使用 MLE（默认）方法。

更改估计方法

要在使用参数分布分析、分布 ID 图或分布概要图时将参数估计法从 MLE 更改为 LSE，请执行以下操作：

选择统计 > 可靠性/生存 > 分布分析。

选择以下分析之一，并选择相应按钮：

分析	按钮
参数分布分析	分布拟合
分布 ID 图	分布拟合
分布概要图	选项

选择最小二乘（失效时间 (X)，排秩 (Y)）。
如果您使用最小二乘估计法，则会通过将回归线拟合到概率图中的点来计算估计值。通过回归变换百分比 (Y) 上的失效时间或对数失效时间 (X) 来形成此线。

由于分布的百分位数基于估计分布参数，因此，估计参数中的差异将导致估计百分位数中的差异。

指定参数分布分析，而不是让 Minitab 估计这些参数

你可以指定一些参数或全部参数，而不是让Minitab来估算参数。如果您选择指定参数，则计算结果（如百分位数）将基于您为分析输入的参数值。

指定一些参数并估计其他参数

您可以指定一些分布参数并让 Minitab 根据数据估计其他参数。通常，当数据中没有失效或者失效很少时，您可以通过估计一些参数来执行 Bayes 分析。有关更多详细信息，请参见如何在没有失效或失效很少时执行可靠性分析。

选择统计 > 可靠性/生存 > 分布分析 > 参数分布分析。
选择分布拟合。

输入你想为分布指定参数。可以指定的参数取决于您选择的分布：

分布	可以指定的参数
Weibull	形状参数
3 参数 Weibull	形状、阈值或两者
指数	无
双参数指数	阈值
没有阈值的其他分布	尺度参数
具有阈值的其他分布	尺度、阈值或两者

您始终可以为 Weibull 分布估计尺度参数。对于具有位置参数的分布，您始终可以估计位置参数。

指定所有参数

要指定所有参数，而不是从数据中估算，而是指定历史参数。你可以指定历史参数来实现以下操作。

将基于历史参数的估计与基于当前数据的估计进行比较。
查看当前数据如何基于历史参数拟合概率图。

在工作表中，将分布的参数估计值输入到单个列中。如果有多个变量要分析，则可以输入多列参数估计值。对于不同的分布，请以表格表示的顺序将参数估计值输入到单个列中。

分布	参数
Weibull	输入形状和尺度
指数	输入均值
其他 2 参数分布	输入位置和尺度
双参数指数	输入尺度和阈值
3 参数 Weibull	输入形状、尺度和阈值
其他 3 参数分布	输入位置、尺度和阈值

选择统计 > 可靠性/生存 > 分布分析 > 参数分布分析。
选择分布拟合。
从分布参数，选择使用历史估计值
在中历史估计值输入估计参数列。如果你有多个样本，每个样本都输入一列。

假设参数分布分析的公共形状或尺度参数

当你对多个样本进行参数分布分析时，可以让分析在估计值中采用共同的形状或尺度参数。

选择统计 > 可靠性/生存 > 分布分析 > 参数分布分析。
选择分布拟合。
从分布参数中选择适合你分配的选项。例如，如果分析假设样本遵循魏布尔分布，则选择假设形状参数相等，从数据估计。
然后，Minitab 会在计算估计值时假设公共形状或尺度参数。例如，假设你有3个独立、正态分布的样本，均值不同但方差相同。为了估计每个样本的均值，Minitab 会使用方差的合并估计值。此方法也适用于其他分布。但是，具体的结果取决于为分析选择的估计法。

使用公共形状或尺度参数的 MLE 方法

对于极大似然方法，Minitab 会使用对数似然函数。在这种情况下，模型的对数似然函数是单个对数似然函数的和，而且在单个对数似然函数中假设的形状参数相同。生成的整体对数似然函数最大化可得到与每个组关联的尺度参数以及公共形状参数。有关详细信息，请参见以下参考资料: W. Nelson (1982). Applied Life Data Analysis, Chapter 12. John Wiley & Sons。

使用公共形状或尺度参数的 LSE 方法

Minitab 首先计算每个组的 y 坐标和 x 坐标（有关详细信息，请参见参数分布分析中概率图的方法和公式中的“图点”和“拟合线”主题）。然后，为了得到 LSE 估计值，Minitab 会执行以下步骤：

合并 X 坐标数据。
合并 Y 坐标数据。
使用指示变量（或按变量）标识组。
针对通过所有 Y 坐标（连续预测变量）和指示变量（类别预测变量）定义的预测变量回归 X 坐标（响应）。
注意
对于对数-位置尺度分布（例如，Weibull），X 坐标必须是对数变换值。各组的斜率应相同，该斜率是通过公共形状参数的逆运算获得的。每组的尺度参数是通过对每组的截距求幂获得的。