先日、Kinect for Windows SDK Ver1.6が公開されましたが、Ver1.6からRawBayerデータという物が取得できるようになりました。
そもそもRawBayerデータというのはRaw(生データ、何も加工されていないデータ)のBayerデータをさします。
Bayerデータというのは、カラーカメラの仕組みを知らないと分かりづらいのですが、一般的なカラーのCCDやCMOSのセンサでは、撮像素子１つ１つにR,G,Bのどれか１つだけの光を通す光学フィルタが、下図のようなR,G,Bのパターンで配置されています。
この配置パターンをBayer配列と言い、このBayer配列のフィルタを通して撮影された画像は、市松模様の入ったモノクロの画像データとなります。
KinectでRawBayerデータに設定し取得した画像はこんな感じ↓
部分拡大すると↓
このデータを元にカラー画像へ変換する処理をBayer変換やRAW現像などと言います。
このカラーへ変換するアルゴリズムですが、最初のBayer配列の図を見て頂くと分かるように、例えば、赤のフィルタがかかった画素の位置では、R（赤）は取得できるものの、G（緑）とB（青）が不足しています。
そこで、Rの上下左右にはGの画素があるので、そこからGを補完し、Rの斜め方向にはBの画素があるので、Bを補完します。同様な全画素において行うと、全画素にR,G,Bのデータを補完できるので、カラー画像となります。
ただ、実際にはBayer変換できれいにカラーへ変換するのは難しく、Kinectでカラーで撮影した画像↓
これを拡大してみると↓
上図のように、市松模様的なパターンが残っていたり、擬色と呼ばれる本来の色とは異なる色になっていたりします。
この擬色などを手っ取り早く消すには、カラーに変換した画像にガウシアンフィルタをかけ、アンシャープマスキングを行うと、少しまともな感じになります。
（処理例）
部分拡大↓
この辺の味付けには人それぞれ好みの分かれるところなので、カラー画像を重視する場合はRawBayerデータからカラー画像への変換に挑戦してみるのも良いと思います。
ちなみに、OpenCVでもCvtColor関数を使えばBayer配列からカラー画像へ変換できますが、これもあまり綺麗には変換しれくれません。
【関連記事】
●OpenCVのcvCvtColor、cvtColor
