先日、Kinect for Windows SDK Ver1.6が公開されましたが、Ver1.6からRawBayerデータという物が取得できるようになりました。

 

そもそもRawBayerデータというのはRaw(生データ、何も加工されていないデータ)のBayerデータをさします。

 

Bayerデータというのは、カラーカメラの仕組みを知らないと分かりづらいのですが、一般的なカラーのCCDやCMOSのセンサでは、撮像素子１つ１つにR,G,Bのどれか１つだけの光を通す光学フィルタが、下図のようなR,G,Bのパターンで配置されています。

 

 

この配置パターンをBayer配列と言い、このBayer配列のフィルタを通して撮影された画像は、市松模様の入ったモノクロの画像データとなります。

 

KinectでRawBayerデータに設定し取得した画像はこんな感じ↓

 

 

部分拡大すると↓

 

 

このデータを元にカラー画像へ変換する処理をBayer変換やRAW現像などと言います。

 

このカラーへ変換するアルゴリズムですが、最初のBayer配列の図を見て頂くと分かるように、例えば、赤のフィルタがかかった画素の位置では、R（赤）は取得できるものの、G（緑）とB（青）が不足しています。

そこで、Rの上下左右にはGの画素があるので、そこからGを補完し、Rの斜め方向にはBの画素があるので、Bを補完します。同様な全画素において行うと、全画素にR,G,Bのデータを補完できるので、カラー画像となります。

 

ただ、実際にはBayer変換できれいにカラーへ変換するのは難しく、Kinectでカラーで撮影した画像↓

 

 

これを拡大してみると↓

 

 

上図のように、市松模様的なパターンが残っていたり、擬色と呼ばれる本来の色とは異なる色になっていたりします。

 

この擬色などを手っ取り早く消すには、カラーに変換した画像にガウシアンフィルタをかけ、アンシャープマスキングを行うと、少しまともな感じになります。

 

（処理例）

 

部分拡大↓

 

この辺の味付けには人それぞれ好みの分かれるところなので、カラー画像を重視する場合はRawBayerデータからカラー画像への変換に挑戦してみるのも良いと思います。

 

ちなみに、OpenCVでもCvtColor関数を使えばBayer配列からカラー画像へ変換できますが、これもあまり綺麗には変換しれくれません。

 

【関連記事】

●カラーエリアCCDセンサのしくみ（単板式、三板式）

●ガウシアンフィルタ

●アンシャープマスキング（鮮鋭化フィルタ）

●OpenCVのcvCvtColor、cvtColor