最小二乗法

シェアする

  • このエントリーをはてなブックマークに追加
最近の記事
  • 8/22 【Neural Network Console】CPU/GPU処理の設定切替
  • 8/21 【Neural Network Console】Learning Rate(学習率)の設定
  • 8/20 ソニーの無償AIソフト Neural Network Consoleの入手ダウンロード、インストール
  • 8/20 Deep Learning
  • 8/20
  • 8/19 古いバージョンのVisual Studio Community/Expressの入手ダウンロード
  • 8/19 CUDAの入手、ダウンロード、インストール方法
  • 8/17 【C#.NET】マイクロソフト仕様のアフィン変換
  • 8/5 【C#】ファイルを開くダイアログボックスの表示
  • 8/2 キャノンプリンターのCDトレイはどこ?!
  • 7/6 【参考書籍】画像処理・機械学習プログラミング OpenCV 3対応
  • 6/20 【Python,matplotlib】動くグラフをAnimationGifに保存する方法
  • 6/17 シグモイド関数の微分
  • 6/15 シグモイド関数
  • 6/13 合成関数の微分
  • 6/12 WordPressで数式エディタ風に数式を入力したい
  • 6/11 PythonをVisual Studioでインストールする方法
  • 6/9 【Python】OpenCVをAnacondaでインストール(Windows編)
  • 6/6 【Python】Anacondaで複数バージョンの環境切り替え
  • 6/6 画像センシング展2017に出展します。
  • 6/1 【Office365】Web版Outlookのフォントサイズ変更
  • 6/1 【Anaconda】モジュールのアップデートでエラー発生
  • 6/1 【Anaconda】コマンドリストの表示
  • 5/29 Windows10パソコン購入
  • 5/24 Anacondaのアンインストール
  • 5/24 【Jupyter Notebook】新規プログラムの作成
  • 5/23 【Python】開発環境の構築
  • 5/23 Pythonはじめました
  • 4/6 【Office365】Web版Outlookのスレッド表示を解除する方法
  • 4/5 【Excel】フーリエ解析(FFT)
  • 3/20 Canny edge detection
  • 3/20 【Excel2016】分析ツールの表示
  • 3/5 【Visual Studio】黒い背景色を白に変更する方法
  • 2/8 【Windows10】拡張モニタに表示されたウィンドウを元に戻す
  • 2/7 複素数の計算
  • 1/18 【Excel】棒グラフの横軸の目盛を0始まりにする
  • 1/16 【Excel】フーリエ変換
  • 1/6 【OpenCV】疑似カラー(カラーマップ)
  • 11/8 【Visual Studio】検索結果のウィンドウ表示
  • 11/3 ニコン 一眼レフカメラ D5500レビュー
  • 10/26 カラーカメラはモノクロカメラを兼ねない
  • 9/6 (Free Soft)Animation GIF Builder
  • 8/30 【C#】タブの無いTabControlっぽいものを作る
  • 8/29 【OpenCvSharp】サンプルプログラムの公開
  • 8/28 【PowerPoint】部分的にカラーにする(セレクトカラー処理)
  • 8/27 【C#】引数の値渡し、参照渡し(ref, out)
  • 8/26 【Word/Excel】図形内に文字を挿入する
  • 8/25 【C#】NumericUpDownコントロール
  • 8/24 ニコン D3400 VS D5500 仕様比較
  • 8/22 【C#】MDIフォームにリサイズ可能なPanelを設置する

  • 最小自乗法ともいいます。
    点の集まりから、近似直線(曲線)を引くための手法です。

    最小二乗法のグラフ

    全ての点(Xi,Yiと近似直線との差の合計が最小になるようになるように直線を引きます。
    今回は簡単にするため、f(X)= aX + b の直線の場合で説明します。

    X = Xi のとき、直線上のY座標は

    Yi = f(Xi) = aXi + b

    より、点と近似直線との差は

    Yi – f(Xi)
    = Yi – (aXi + b)

    となります。

    この差の合計が一番小さい時にもっとも点の集まりを直線で近似できていることとなりますが、
    そのままこの差の総和を計算すると差の値がプラスの時とマイナスの時があるため、例えば下図

    最小二乗法

    のように、正の差と負の差が同じようにある場合、差の合計が小さくなってしまうため、差を2乗してから合計した値が最小になるようにします。

    よって、差の2乗の合計は

    ∑(Yi – (aXi + b))2
    = ∑ (a2Xi2 + 2aXib + b2 – 2aXiYi – 2bYi + Yi2)・・・式①

    となり、この総和の値が最小となるaとbを求めれば近似直線を求められることとなります。

    この式を良くみると、aとbの二次関数でできているため、この二次関数が最小となる値を求めればよい。
    二次関数が最小となるのは微分した値 = 0 の場合であるから、式①をaとbで偏微分した値が
    0(ゼロ)となる値を求めればよい。

    式①をaとbでそれぞれ偏微分すると

    ∂/∂a = 2a∑Xi2 + 2b∑Xi – 2∑XiYi = 0
    ∂/∂b = 2a∑Xi + 2b∑1  – 2∑Yi = 0

    となり、未知数がaとbで式が2本あることから、aとbの連立法的式を解くことで未知数a,bを求めることができます。

    連立方程式を行列で表すと

    最小二乗法

    となり、行列を解くと未知数a,bが求まり、近似直線を求めることができます。

    ちなみに、二次式(aX2 + bX + c)で近似すると

    二次式の最小二乗近似

    三次式(aX3 + bX2 + cX + d)で近似すると

    三次式の最小二乗近似

    と規則的に変化するため、n次式近似のプログラムも簡単に作ることができます。
    ただし、行列の部分を二次元配列と考えると、近似する次数(n)が上がって行くと、配列の先頭に値が追加されていくのは、扱いにくいので、n次式近似のプログラムを作る場合は、近似式を

    y = a + bx + cx2 + dx3 ・・・

    として、行列の表現は

    n次式の最小二乗近似

    として、n次式で近似した最小二乗法を求めます。

    この計算をエクセルで行ったものはExcelによる最小二乗近似からダウンロードできます。
    逆行列を求めるプログラムにはガウスの消去法などが用いられます。

    ここで、注意点!

    三次式(a+bX+cX2+dX3)の近似を例にとってみると、近似処理をする過程でXに関する計算式はX~X6まで計算されます。

    ここで、例えばXの値の範囲が

    0.01~1000

    だったとすると、Xに関する計算では

    0.000000000001~1000000000000000000

    までの計算がされます。
    逆行列の計算ではこれらの値に関して足し算や掛け算がなされる訳ですからコンピュータの
    計算誤差(桁落ち、情報落ちなど?)が発生する場合があります。
    これを防ぐために、最小二乗法のプログラムでは近似式をそのまま使うのではなく、Xの値から
    Xの平均値(X)を引いた計算式

    a + b(X-X) + c(X-X)2 + d(X-X)3

    で処理を行うのが一般的です。

    使える数学へ戻る

    コメント

    1. ryutamatsuno より:

      「となり、行列を解くと未知数a,bが求まり、近似直線を求めることができます。」
      の上の図の最後の行の-1は不要ではないでしょうか?

      • akira より:

        ご指摘ありがとうございます。
        おっしゃる通り、間違ってました。
        記事も修正しました。