非線形回帰について理解する

このトピックの内容

非線形回帰とは
非線形回帰と線形回帰の比較

非線形回帰とは

非線形回帰では、連続応答変数と1つ以上の予測変数との間の非線形な関係を表す方程式を生成し、新しい観測値を予測します。線形パラメータとの関係を適切にモデル化できない場合、通常の最小二乗回帰ではなく非線形回帰を使用します。モデル内の各項が加法であり、項を乗算するパラメータが1つだけ含まれている場合、パラメータは線形です。

非線形回帰と線形回帰の比較

非線形回帰の基本を理解するため、非線形回帰と線形回帰との類似点と相違点を理解することは重要です。

類似点

以下のような類似点があります。

1つの応答変数と1つ以上の予測変数との関係を数学的に説明します。
曲線関係をモデル化できます。
残差誤差の平方和（SSE）を最小化します。
残差プロットを使用して確かめられる仮定が同じです。

差

線形回帰と非線形回帰の基本的な違いは、モデルが取り得る関数の形式です。これが各分析名の由来にもなっています。特に、線形回帰では線形パラメータが必要ですが、非線形回帰では必要ありません。線形パラメータとの関係を適切にモデル化できない場合は、線形回帰ではなく非線形回帰を使用します。

線形回帰は、パラメータで線形になっている必要があり、式はそのパラメータによって1つの形式に制限されます。モデル内の各項が加法であり、項を乗算するパラメータが1つだけ含まれている場合、パラメータは線形です。

応答 = 定数 + パラメータ * 予測変数 + ... + パラメータ * 予測変数

または y = β_o + β₁X₁ + β₂X₂ + ... + β_kX_k

一方、非線形式はさまざまな形式を取ります。実際、取りうる形式は無限にあるので、Minitabで非線形回帰を実行するには使用する期待関数を指定する必要があります。次にその一例を示します（θはパラメータを表します）。

y = θ^X （凸2、1 パラメータ、1 予測変数）
y = θ₁ * X₁ / ( θ₂ + X₁ ) （Michaelis-Menten式、2 パラメータ、1 予測変数）
y = θ₁ - θ₂ * ( ln ( X₁ + θ₃ ) - ln ( X₂ )) （ネルンストの式、3 パラメータ、2 予測変数）

どの予想関数を選択するかは、応答曲線の形、またはシステムにおける物理および化学的な属性の作用についての予備知識に基づいて決定します。潜在的な非線形には、凹、凸、指数関数的増大または指数関数的減衰、シグモイド（S）曲線および漸近曲線が含まれます。予備知識での要求事項と、非線形回帰の仮定の両方を満たす関数を指定する必要があります。

さまざまな関数形式を指定できるという柔軟性は非常に強力ですが、データに最適適合する関数形式を決定するために相当な労力が必要になる場合もあります。このため、追加の調査や対象分野に関する知識、試行錯誤による分析が必要になることが多々あります。また、非線形式の場合、各予測変数が応答に及ぼす影響を判断するということは、線形式の場合ほど直観的ではありません。

非線形回帰では、線形回帰とは異なる手順を用いて残差誤差の平方和（SSE）を最小化します。