ガウシアンフィルタなどのフィルタでは、ノイズをできるだけ除去しようとすると、輪郭もボケてしまうという欠点がありました。
この欠点を解決しようとした処理アルゴリズムがバイラテラルフィルタ(bilateral filter)です。
バイラテラルフィルタは処理前の画像データの配列をf(i, j)、処理後の画像データの配列をg(i, j)とすると
となります。
ただし、wがカーネルのサイズ、σ1がガウシアンフィルタを制御、σ2が輝度差を制御しています。
と言われても、何だか式が難しくて良く分かりません。
でも、分母分子に出てくる最初のexpの部分はガウシアンフィルタで見たことがあるな~
という事に気が付けば、突破口が開けます。
2つ目のexpの部分が良く分からないので、とりあえず取っちゃってみて、
とすると、分母の部分がガウシアンフィルタと少し違うけど、Σの範囲が-W~Wなので、(2W+1)×(2W+1)のカーネルサイズのガウシアンフィルタになっています。
結局、分母はカーネルの値の合計なので、やっぱりガウシアンフィルタそのものだという事に気が付きます。
ここで、ガウシアンフィルタを使って、どうやれば輪郭をぼやかさず、ノイズだけを除去できるか?を考えると、カーネルの中心の輝度値と差の少ないところだけをガウシアンフィルタで平滑化すればいいのではないか?という発想が浮かびます。
例えば次のような画像において、
四角で囲まれた部分を拡大し注目すると、5x5のガウシアンフィルタの場合、中心の輝度値に近い部分を重み「1」、輝度差が大きい部分は重みが「0」になるようにして、
一般的な5x5のガウシアンフィルタの係数↓、
に重みをかけると、それぞれのカーネルの値は
カーネルの合計の169で割る | カーネルの合計の209で割る |
となります。
このようにして、場所、場所のカーネルの値を画像に合わせて変えて行くと、輪郭を残しつつノイズだけを除去できそうな感じがします。
しかし、輪郭付近の重みは「1」にするべきか?「0」にするべきか?少し悩みます。
そこで、カーネルの中心の輝度値との差に基づいて、重みを「0.3」や「0.8」のようなグレーゾーンを設けるために、輝度差を横軸にした正規分布を用いてみます。
正規分布のグラフはこんな感じ↓
になっていて、中心の0付近ほど値が大きく、外側(+方向、-方向)へ行くに従って値が小さくなります。
この性質を使ってカーネルの中心の輝度値との差「f(i, j)- f(i + m, j + n) 」を横軸にとった正規分布の式は
となり、これを重みに使うと、「1」「0」だった重みが、輝度差が小さいと重みが大きく、輝度差が大きいと重みが小さくなるように、なだらかに変化します。
この正規分布を重みとしたのが、まさにバイラテラルフィルタなのです。
つまりバイラテラルフィルタは
正規分布の重み付きガウシアンフィルタ
なのです。
ここで、最初に示したバイラテラルフィルタの式を見てみると、
分子は(2W+1)×(2W+1)サイズのカーネルの範囲内の輝度値に、ガウシアンフィルタの係数をかけ、さらにカーネルの中心との輝度差を用いた正規分布の値を掛け合わせた値、
分母はカーネルの合計値で、カーネルの合計値が1になるように調整しています。
Wはカーネルの大きさ、σ1は通常のガウシアンフィルタの係数と同じ。
σ2の値が、カーネルの中心の輝度値との差をどの程度許容するか?を制御している事が分かります。
そのため、σ2の値を大きくしていくと、ただのガウシアンフィルタの処理に近づき、輪郭もぼやけてしまいます。逆にσ2の値を小さくし過ぎると、ノイズ除去効果が弱くなります。
そこで、実際にはエッジを保持しつつノイズをできるだけ除去したい場合は、1回のバイラテラルフィルタでσ1、σ2の値を調整しようとするよりも、バイラテラルフィルタを何回か繰り返した方が効果的です。
原画 | 1回目 | 2回目 |
3回目 | 4回目 | 5回目 |
このように、バイラテラルフィルタはガウシアンフィルタのカーネルに輝度差に基づいて重みを付けている訳ですが、この、×××に基づいて重みを付ける処理という考え方は、処理を安定させるポイントになったりします。
例えばロバスト推定法なんかも近い感じ。
g(i, j) の計算式中の分子、f(i+m, j+m) は f(i+m, j+n) ではないでしょうか?
遅くなりましたが、ご指摘ありがとうございます。
記事を修正しました。
非常に解りやすい解説で感謝致します。今度は是非trilateral filterの解説もお願いします
遅ればせながら、コメント頂きありがとうございます。
trilateral filterはやった事が無いので、良く分かりませんが、Bilateralフィルタは、中心との距離をガウス関数に乗せて重みにしたもの(ガウシアンフィルタ)と、中心の輝度値との差をガウス関数に乗せて重みにしたものの2つの重みを使ったフィルタ処理なので、trilateral filterは3つの重みを使ったフィルタなんですよね?!きっと。
trilateral filterを使う時が来たら、記事にしたいと思います。
本当に分かりやすいです。今まで漠然と理解していたものがクリアになってきました。お忙しい中、説明を追加して頂き本当に感謝します。どうか今後とも宜しくお願い致します。
取り急ぎ、まずはお礼まで。
ピンバック: 画像処理フィルタ一覧、比較 | イメージングソリューション