最近の記事
  • 5/24 Anacondaのアンインストール
  • 5/24 【Jupyter Notebook】新規プログラムの作成
  • 5/23 【Python】開発環境の構築
  • 5/23 Pythonはじめました
  • 5/14 simplicity2-child
  • 4/6 【Office365】Web版Outlookのスレッド表示を解除する方法
  • 4/5 【Excel】フーリエ解析(FFT)
  • 3/20 Canny edge detection
  • 3/20 【Excel2016】分析ツールの表示
  • 3/5 【Visual Studio】黒い背景色を白に変更する方法
  • 2/8 【Windows10】拡張モニタに表示されたウィンドウを元に戻す
  • 2/7 複素数の計算
  • 1/18 【Excel】棒グラフの横軸の目盛を0始まりにする
  • 1/16 【Excel】フーリエ変換
  • 1/6 【OpenCV】疑似カラー(カラーマップ)
  • 11/8 【Visual Studio】検索結果のウィンドウ表示
  • 11/3 ニコン 一眼レフカメラ D5500レビュー
  • 10/26 カラーカメラはモノクロカメラを兼ねない
  • 9/6 (Free Soft)Animation GIF Builder
  • 8/30 【C#】タブの無いTabControlっぽいものを作る
  • 8/29 【OpenCvSharp】サンプルプログラムの公開
  • 8/28 【PowerPoint】部分的にカラーにする(セレクトカラー処理)
  • 8/27 【C#】引数の値渡し、参照渡し(ref, out)
  • 8/26 【Word/Excel】図形内に文字を挿入する
  • 8/25 【C#】NumericUpDownコントロール
  • 8/24 ニコン D3400 VS D5500 仕様比較
  • 8/22 【C#】MDIフォームにリサイズ可能なPanelを設置する
  • 8/20 【Visual Studio 2015】文字の色が変、かすむ
  • 8/20 【Visual Studio】行のコピー、切り取り、貼り付け
  • 8/20
  • 8/16
  • 7/7 標準偏差のよくある誤解
  • 6/8 FPGA処理によるカラー光切断法の公開(参考出品)
  • 5/28 OpenCV3.1+Visual Studio 2015+64bitOSで簡単にOpenCVを試す
  • 3/19 【ImageDataクラス】画像の輝度値のCSVファイル保存
  • 3/19 【ImageDataクラス】Regionプロパティ
  • 3/19 【ImageDataクラス】画像の輝度値(画素値)の取得/設定
  • 3/19 【ImageDataクラス】InterpolationModeプロパティ
  • 3/19 【ImageDataクラス】BorderTypeプロパティ
  • 3/18 【ImageDataクラス】サンプルプログラム
  • 3/17 ImageDataクラスライブラリの使用方法
  • 3/17 【C#】ImageDataクラスライブラリ公開
  • 3/17 ImageDataクラスライブラリ
  • 2/25 【OpenCV】黒板風処理
  • 12/17 【Excel】絶対参照、相対参照の切替
  • 12/16 【Windows10】モニタの文字のかすれを直す
  • 11/28 【C#】Chartを使ったヒストグラム表示
  • 11/28 【C#】Chartコントロールをとりあえず使ってみる
  • 11/25 【C#】Chartコントロールの主なプロパティ
  • 11/25 【C#】Chartコントロールの使用方法

  • 最小二乗法

    シェアする

    • このエントリーをはてなブックマークに追加

    最小自乗法ともいいます。
    点の集まりから、近似直線(曲線)を引くための手法です。

    最小二乗法のグラフ

    全ての点(Xi,Yiと近似直線との差の合計が最小になるようになるように直線を引きます。
    今回は簡単にするため、f(X)= aX + b の直線の場合で説明します。

    X = Xi のとき、直線上のY座標は

    Yi = f(Xi) = aXi + b

    より、点と近似直線との差は

    Yi – f(Xi)
    = Yi – (aXi + b)

    となります。

    この差の合計が一番小さい時にもっとも点の集まりを直線で近似できていることとなりますが、
    そのままこの差の総和を計算すると差の値がプラスの時とマイナスの時があるため、例えば下図

    最小二乗法

    のように、正の差と負の差が同じようにある場合、差の合計が小さくなってしまうため、差を2乗してから合計した値が最小になるようにします。

    よって、差の2乗の合計は

    ∑(Yi – (aXi + b))2
    = ∑ (a2Xi2 + 2aXib + b2 – 2aXiYi – 2bYi + Yi2)・・・式①

    となり、この総和の値が最小となるaとbを求めれば近似直線を求められることとなります。

    この式を良くみると、aとbの二次関数でできているため、この二次関数が最小となる値を求めればよい。
    二次関数が最小となるのは微分した値 = 0 の場合であるから、式①をaとbで偏微分した値が
    0(ゼロ)となる値を求めればよい。

    式①をaとbでそれぞれ偏微分すると

    ∂/∂a = 2a∑Xi2 + 2b∑Xi – 2∑XiYi = 0
    ∂/∂b = 2a∑Xi + 2b∑1  – 2∑Yi = 0

    となり、未知数がaとbで式が2本あることから、aとbの連立法的式を解くことで未知数a,bを求めることができます。

    連立方程式を行列で表すと

    最小二乗法

    となり、行列を解くと未知数a,bが求まり、近似直線を求めることができます。

    ちなみに、二次式(aX2 + bX + c)で近似すると

    二次式の最小二乗近似

    三次式(aX3 + bX2 + cX + d)で近似すると

    三次式の最小二乗近似

    と規則的に変化するため、n次式近似のプログラムも簡単に作ることができます。
    ただし、行列の部分を二次元配列と考えると、近似する次数(n)が上がって行くと、配列の先頭に値が追加されていくのは、扱いにくいので、n次式近似のプログラムを作る場合は、近似式を

    y = a + bx + cx2 + dx3 ・・・

    として、行列の表現は

    n次式の最小二乗近似

    として、n次式で近似した最小二乗法を求めます。

    この計算をエクセルで行ったものはExcelによる最小二乗近似からダウンロードできます。
    逆行列を求めるプログラムにはガウスの消去法などが用いられます。

    ここで、注意点!

    三次式(a+bX+cX2+dX3)の近似を例にとってみると、近似処理をする過程でXに関する計算式はX~X6まで計算されます。

    ここで、例えばXの値の範囲が

    0.01~1000

    だったとすると、Xに関する計算では

    0.000000000001~1000000000000000000

    までの計算がされます。
    逆行列の計算ではこれらの値に関して足し算や掛け算がなされる訳ですからコンピュータの
    計算誤差(桁落ち、情報落ちなど?)が発生する場合があります。
    これを防ぐために、最小二乗法のプログラムでは近似式をそのまま使うのではなく、Xの値から
    Xの平均値(X)を引いた計算式

    a + b(X-X) + c(X-X)2 + d(X-X)3

    で処理を行うのが一般的です。

    使える数学へ戻る

    シェアする

    • このエントリーをはてなブックマークに追加

    フォローする

    関連記事

    スポンサーリンク

    コメント

    1. ryutamatsuno より:

      「となり、行列を解くと未知数a,bが求まり、近似直線を求めることができます。」
      の上の図の最後の行の-1は不要ではないでしょうか?

      • akira より:

        ご指摘ありがとうございます。
        おっしゃる通り、間違ってました。
        記事も修正しました。