【Kinect SDK】RawBayerデータとは？

先日、Kinect for Windows SDK Ver1.6が公開されましたが、Ver1.6からRawBayerデータという物が取得できるようになりました。

そもそもRawBayerデータというのはRaw(生データ、何も加工されていないデータ)のBayerデータをさします。

Bayerデータというのは、カラーカメラの仕組みを知らないと分かりづらいのですが、一般的なカラーのCCDやCMOSのセンサでは、撮像素子１つ１つにR,G,Bのどれか１つだけの光を通す光学フィルタが、下図のようなR,G,Bのパターンで配置されています。

この配置パターンをBayer配列と言い、このBayer配列のフィルタを通して撮影された画像は、市松模様の入ったモノクロの画像データとなります。

KinectでRawBayerデータに設定し取得した画像はこんな感じ↓

部分拡大すると↓

このデータを元にカラー画像へ変換する処理をBayer変換やRAW現像などと言います。

このカラーへ変換するアルゴリズムですが、最初のBayer配列の図を見て頂くと分かるように、例えば、赤のフィルタがかかった画素の位置では、R（赤）は取得できるものの、G（緑）とB（青）が不足しています。

そこで、Rの上下左右にはGの画素があるので、そこからGを補完し、Rの斜め方向にはBの画素があるので、Bを補完します。同様な全画素において行うと、全画素にR,G,Bのデータを補完できるので、カラー画像となります。

ただ、実際にはBayer変換できれいにカラーへ変換するのは難しく、Kinectでカラーで撮影した画像↓

これを拡大してみると↓

上図のように、市松模様的なパターンが残っていたり、擬色と呼ばれる本来の色とは異なる色になっていたりします。

この擬色などを手っ取り早く消すには、カラーに変換した画像にガウシアンフィルタをかけ、アンシャープマスキングを行うと、少しまともな感じになります。

（処理例）

部分拡大↓

この辺の味付けには人それぞれ好みの分かれるところなので、カラー画像を重視する場合はRawBayerデータからカラー画像への変換に挑戦してみるのも良いと思います。

ちなみに、OpenCVでもCvtColor関数を使えばBayer配列からカラー画像へ変換できますが、これもあまり綺麗には変換しれくれません。

【関連記事】

●カラーエリアCCDセンサのしくみ（単板式、三板式）

●OpenCVのcvCvtColor、cvtColor