最小二乗法

最小自乗法ともいいます。
点の集まりから、近似直線（曲線）を引くための手法です。

全ての点（X_i,Y_i）と近似直線との差の合計が最小になるようになるように直線を引きます。
今回は簡単にするため、ｆ（X）= aX + b の直線の場合で説明します。

X = X_iのとき、直線上のY座標は

Y_i = f(X_i) = aX_i + b

より、点と近似直線との差は

Y_i – f(X_i)
= Y_i – (aX_i + b)

となります。

この差の合計が一番小さい時にもっとも点の集まりを直線で近似できていることとなりますが、
そのままこの差の総和を計算すると差の値がプラスの時とマイナスの時があるため、例えば下図

のように、正の差と負の差が同じようにある場合、差の合計が小さくなってしまうため、差を２乗してから合計した値が最小になるようにします。

よって、差の２乗の合計は

∑(Y_i – (aX_i + b))²
= ∑ (a²X_i² + 2aX_ib + b² – 2aX_iY_i – 2bY_i + Y_i²)・・・式①

となり、この総和の値が最小となるａとｂを求めれば近似直線を求められることとなります。

この式を良くみると、ａとｂの二次関数でできているため、この二次関数が最小となる値を求めればよい。
二次関数が最小となるのは微分した値 = 0 の場合であるから、式①をａとｂで偏微分した値が
０（ゼロ）となる値を求めればよい。

式①をaとbでそれぞれ偏微分すると

∂/∂a = 2a∑X_i² + 2b∑X_i – 2∑X_iY_i= 0
∂/∂b = 2a∑X_i + 2b∑1  – 2∑Y_i = 0

となり、未知数がaとbで式が２本あることから、aとbの連立法的式を解くことで未知数a,bを求めることができます。

連立方程式を行列で表すと

となり、行列を解くと未知数ａ，ｂが求まり、近似直線を求めることができます。

ちなみに、二次式（aX² + bX + c）で近似すると

三次式（aX³ + bX² + cX + d）で近似すると

と規則的に変化するため、ｎ次式近似のプログラムも簡単に作ることができます。
ただし、行列の部分を二次元配列と考えると、近似する次数（ｎ）が上がって行くと、配列の先頭に値が追加されていくのは、扱いにくいので、ｎ次式近似のプログラムを作る場合は、近似式を

y = a + bx + cx² + dx³ ・・・

として、行列の表現は

として、ｎ次式で近似した最小二乗法を求めます。

この計算をエクセルで行ったものはExcelによる最小二乗近似からダウンロードできます。
逆行列を求めるプログラムにはガウスの消去法などが用いられます。

ここで、注意点！

三次式（a+bX+cX²+dX³）の近似を例にとってみると、近似処理をする過程でXに関する計算式はX～X⁶まで計算されます。

ここで、例えばXの値の範囲が

０．０１～１０００

だったとすると、Xに関する計算では

０．０００００００００００1～１００００００００００００００００００

までの計算がされます。
逆行列の計算ではこれらの値に関して足し算や掛け算がなされる訳ですからコンピュータの
計算誤差（桁落ち、情報落ちなど？）が発生する場合があります。
これを防ぐために、最小二乗法のプログラムでは近似式をそのまま使うのではなく、Xの値から
Xの平均値（X_ｂ）を引いた計算式

a + b(X-X_ｂ) + c(X-X_ｂ)² + d(X-X_ｂ)³

で処理を行うのが一般的です。

←使える数学へ戻る