カラーエリアCCDセンサのしくみ(単板式、三板式)

カラーのエリアセンサのカメラでは3CCD方式(三板式)単板式というのがあります。
工業用のカラーのCCDカメラでは、単板式のカメラの方が多く採用されています。
他にも富士フィルムが採用したハニカム方式やシグマのカメラで採用されている三層方式などがあります。

 

3CCDセンサ(三板式)

ホームビデオカメラでもおなじみの3CCD方式。
ダイクロイックプリズムでR,G,Bに分光して、各色用のエリアセンサで撮影します。

 

 

CCDを3つ使うので、カメラ本体が大きくなりやすく、価格も高価になってしまいますが、色の再現性の面では単板式に比べて有利となります。

 

単板式

通常のモノクロエリアCCDの各画素の上にR,G,Bそれぞれの色のみを通す光学フィルタを下図のような配置で装着し、画像を撮影後、各画素ともR,G,Bの輝度値を演算処理しカラーの画像に変換します。

 

 

 

この並びをベイヤ(Bayer)配列と言います。

 

カラー画像への変換は下図のように各R,G,Bの撮影出来ていない画素については周辺の画素の輝度値を用いで補間し、カラーへと変換します。

 

ほとんどの工業用のCCDカメラではカメラ内部でカラーに変換されますが、画素数の大きなカメラや高速のカメラでは、カラーに変換することで、データ容量が1画素8ビットから24ビットに容量が3倍となってしまうため、下図のようにモノクロのまま出力される場合もあるので、ご注意下さい。

 

 

高価なデジタルカメラなどでは、カラーの変換をカメラ任せにはしないでソフトで処理る場合もあり、変換する前の画像データをRAWデータ、変換する処理のことをRAW現像と呼びます。(たぶん、デジカメ用語)
RAW現像は他にもベイヤ演算デモザイキングなどと呼びます。

 

もっとも基本的な補間方法としては、たとえば赤の画素では上下左右の輝度値を平均し緑の輝度値を求め、斜め方向の輝度値を平均して青の輝度値を求めます。
同じ用に緑や青の画素についても処理を行うと、カラーの画像へと変換することができます。

 

比較的有名な変換方法には適応型カラープレーン補間法ACPI:Advanced Color Plane Interpolation)というのがあるので、上記キーワードで検索してみて下さい。

 

しかし実際にベイヤ演算を行ってみると、擬色と呼ばれる本来の色とは異なる色が出たり、通称ラーメンノイズと呼ばれる渦巻き状のパターンが発生したりと、なかなかうまくいきません。

 

これらのノイズを如何に防ぐかが各カメラメーカーやRAW現像ソフトメーカの腕の見せ所で、各社のノウハウとなっているため、私は実際にどうのような処理を行っているのか?よく分かっていません...

 

RAW現像については、現像ソフトで比較的有名な市川ラボラトリーのSILKPIXというソフトがあるので、下記ページを見て頂くと参考になると思います。

http://www.isl.co.jp/SILKYPIX/japanese/special/movie/

 

このように単板のカラーカメラはR,G,Bの足りない画素を補間してカラー画像を撮影しているので、画像の輪郭などが重要な場合、モノクロカメラの方が性能は良くなります。

 

以前は、カラー画像を使えば、モノクロにも変換できるし、カラーカメラはモノクロカメラを兼ねる!と思っていたのですが、モノクロカメラの方が有利な場合もあるので、特に色情報を必要としない場合はモノクロカメラを使う方がオススメです。(データ容量も少なくてすみますし...)

 

このへんの話は、少し古いですが、トランジスタ技術の2009年7月号に書いてあるので、ご興味のある方は、参照してみて下さい。

フラットフィールドコレクション(FFC)

フラットフィールドコレクションとは?

フラットフィールドコレクション(Flat Field Correction【略: FFC】)とは、撮影した画像の輝度値を均一にする補正で、比較的高価な工業用のカメラに搭載され、主にラインセンサカメラには、このフラットフィールドコレクションの機能が搭載されています。

 

そもそも、真っ白な被写体を撮影した時に、なぜ撮影した画像の輝度値が均一にならないのか?と言うと、考えられる要因として

 

  • レンズのシェーディングによる影響
  • 照明の明るさのムラ
  • CCD素子1つ1つの感度のばらつき

 

などが挙げられます。

 

フラットフィールドコレクションを行うと、これらの要因をまとめて補正する事が可能となります。

 

   
フラットフィールドコレクション前 フラットフィールドコレクション後

 

このフラットフィールドコレクションは、カメラのアナログオフセット(足し算/引き算)、アナログゲイン(掛け算/割り算)、デジタルオフセット(足し算/引き算)、デジタルゲイン(掛け算/割り算)を駆使して輝度値が均一になるように補正されます。
多少、実際の補正手順が面倒なので敬遠されがちですが、補正アルゴリズムを理解すると、ある程度、納得できると思います。

 

補正アルゴリズム

カメラにより実際の処理は異なる部分があると思いますが、おおむね以下の流れでフラットフィールドコレクションは行われます。

 

まず、最初にフラットフィールドコレクションによる輝度値の補正により、輝度値が飽和しない(輝度値が255を超えない)ようにするため、画像の最大輝度値が、おおむね255の80%程度(204ぐらい)になるように、実際の撮影する環境(照明、露光時間など)においてアナログゲインを調整します。

 

 

上図を見ても分かるように、画素のよっては入力光量が小さい場合(暗い場合)、出力輝度値が0になってしまう画素がある可能性があります。

 

これを補正するため、入力光量を0にして(レンズにキャプをする)、アナログオフセットで画像の最小輝度値が0にならないように調整します。

 

 

この状態で、カメラの黒レベル補正(FPN)の機能を実行すると、カメラ内部では、黒レベル(輝度値0)において、各画素の輝度値が0になるようデジタルオフセットの値が調整されます。

 

 

次に実際の撮影状態(照明、露光時間など)にして、できるだけ反射や汚れ、ムラの少ない白の被写体を撮影し、カメラの白レベル補正(PRNU)の機能を実行します。

 

すると、上記の撮影状態で全画素が指定した目標輝度値(輝度値を指定できないカメラもある)になるように、カメラ内部では全画素のデジタルゲインの値が調整されます。

 

 

この一連の処理を行う事で、最初に紹介したように、画像全体が均一な輝度値となる画像を得る事が可能となります。

 

また、上記の説明は、以下の順序でゲイン/オフセットの補正が行われる事を前提に説明しています。

 

CCDの電気信号アナログオフセットアナログオゲインデジタルオフセットデジタルゲイン

 

この機能は、主に二値化処理を用いた処理による画像検査などにおいては、効果を発揮します。

エリアセンサとラインセンサとの比較

センサの比較

エリアセンサ ラインセンサ
センサ形状
CCD素子が縦横方向に並び、二次元的に
画像の撮影ができる。
CCD素子が横一列に並び、一次元的
な画像の撮影しかできない。
画素数 画素数 30万画素(640×480画素)
~500万画素程度(2456×2058画素)がメイン
最大2000万画素(5344×4008画素)
1024画素 ~7450画素程度がメイン
最大16384画素

 

ラインセンサはあまりなじみが無いかもしれませんが、身近なラインセンサにはコピー機などがあります。
コピー機は2組の鏡を絶妙に動かしながら、光学的な撮影距離を変えずにスキャン(移動撮影)しているので、興味があれば動作を覗いて見ると良いでしょう。

 

ラインセンサは何と言っても高解像度の画像を撮影できるので、魅力があるのですが、ワークを移動しながら撮影しないといけないため、エリアセンサに比べどうしても撮影システムが複雑になってしまいます。

 

また、エリアセンサのフレームレートは30~100fps程度、ラインセンサは3kHz程度、露光時間にするとエリアセンサは10~30mSec、ラインセンサは300μSec程度。

 

もちろん例外はあるのですが、ここで大事なのは露光時間(フレームレート、スキャンレート)は実に100倍!近く異なるということ。
その分だけラインセンサでは明るくちらつきの無い照明が必要となります。

 

このように↓

ラインセンサで撮影した画像がしましまになってしまう場合は、蛍光灯のチラつきの影響の場合が多いです。

 

センサの種類にはCCDCMOSタイプがありますが、高解像度で高速フレームレートのエリアセンサとなるとCMOSタイプのカメラが多くなってきています。が、CMOSタイプでは欠陥画素(明らかに感度の悪い画素)があるのがつきものです。
カメラによってはカメラの内部でこの欠陥画素を補正してしまうものもあるので分かりづらい場合もありますが、、欠陥検査などにCMOSのカメラを使おうとすると、どうしてもこの欠陥画素が邪魔をするので、ご注意下さい。というよりは使わない方が良いと思います。

 

【欠陥画素の例】

周りより白い部分や黒い部分が欠陥画素(画像を拡大表示しています)

 

 

また、CMOSにはグローバルシャッタローリングシャッタというのがあり、グローバルシャッタは全画素を同時に露光するのに対し、ローリングシャッタでは横1ラインごとに順次露光していくので、動いている被写体を撮影すると被写体が歪んでしまいます。安いCMOSカメラでは、このローリングシャッタのカメラが多いのでご注意下さい。

 

エリアセンサ向きな撮影方法

エリアセンサは撮影システムが簡単に組めるので、まずはオススメなのですが、ラインセンサでは撮影が困難なものには、製造ラインから流れてくるワークの撮影などがあります。

 

 

ラインセンサ向きな撮影方法

ラインセンサは1度に1ライン分しか撮影できないのですが、それを逆手に取ると、円筒物の撮影には向いています。
ラインセンサの場合(下図、右側)、円筒の影の影響を受ける事なく撮影する事が出来ます。

 

 

また、ワークの送り方向には画素数をいくらでも取れるので、フィルムやシート、ガラス、鉄板などの長尺物の撮影には最適です。

 

 

ガラスやフィルムの検査などにおいては、1台のカメラだけでは解像度が不足する場合があるので、ラインセンサを横1列に並べて撮影する場合もあります。

 

 

まとめ

エリアセンサやラインセンサ、CCDやCMOSにはそれぞれ特徴があるので、撮影の要求に合わせてお選び下さい。
また、デジカメの世界では画素数が多い程、良いカメラのようになっていますが、画素数が多いほどフレームレートやスキャンレートが遅くなったり、画素数が多いと画素サイズも小さくなりがちで、一般に感度も悪くなるので、ご注意下さい。
ようは、適材適所なのです。

 

関連記事

光学部品/カメラバイヤーズガイド

 


ロータリーエンコーダのしくみ

ロータリーエンコーダには大きく分けて、出力するパルスの種類の違いにより

 

  • インクリメンタルエンコーダ
  • アブソリュートエンコーダ

 

の2種類があります。
また、今回は回転用のロータリーエンコーダについて解説していますが、直線的な移動量を制御するための、リニアエンコーダというのもあります。
身近なロータリーエンコーダとしてはマウスのホイール部分もロータリーエンコーダの一種です。

 

インクリメンタルエンコーダ

特徴

エンコーダの軸が1回転するごとにエンコーダ分解能分のパルスが出力されます。
アブソリュートエンコーダに比べて安価。
A相、AB相、ABZ相出力タイプがあります。
出力信号にはオープンコレクタ、ラインドライバ(RS-422)出力などがあります。
エンコーダ呼称のパルス数[パルス/回転]は1相あたりのパルス数をさします。
高分解能のパルス数が必要な場合、A相、B相の各立上り、立下り信号をカウントし、パルス数を通常の4倍カウントする場合があります。この手法を
4逓倍と言います。
ラインセンサカメラと組合せてエンコーダを使う場合は一般に、このインクリメンタルエンコーダが用いられます。

※上図は模式図です。実際のエンコーダではAB相用のスリットは共通のスリットを用いて、パルスの90°位相をずらした位置に受光センサが配置されます。

 

エンコーダの回転方向

エンコーダを軸側から見て、時計回りをCWClock Wise)、反時計回りをCCWCounter Clock Wise)と言います。

 AB相、ABZ相のエンコーダであれば、エンコーダの回転方向を認識する事ができます。

逆にA相のみのエンコーダだと、回転方向は認識できません。

 

エンコーダがCW方向に回転しているとき、B相のパルスはA相よりも1パルスの波長の1/4だけ遅れて出力されます。

 

これにより、A相立上り→B相立上り→A相立下り→B相立下り→A相立上り・・・という順番でパルスが出力されます。

 

 

エンコーダがCCW方向に回転しているとき、A相のパルスはB相よりも1パルスの波長の1/4だけ遅れて出力されます。これにより、B相立上り→A相立上り→B相立下り→A相立下り→B相立上り・・・という順番でパルスが出力されます。

 

 

このように、回転方向がCW方向、CCW方向と異なると、出力されるA相、B相のパルスの立上り、立下りの順番が異なることから、回転方向が判断できます。
Z相は1回転につき、1パルスだけ出力され、回転角度の基準(原点)や回転数のカウントに使用されます。
ただし、Z相の位置は見た目分かりづらい物が多く、Zの位置を調整するのは困難な場合が多いので、
Z相を原点復帰(イニシャライズ)用に使うことはまれで、別途、フォトセンサを付けるのが一般的です。

 

アブソリュートエンコーダ

特徴

エンコーダの回転角度に合わせて、回転角度を取得することができます。
電源投入時でもイニシャライズ(原点復帰)処理を必要としません。
回転角度は2進数で取得でき、たとえば1回転を256分解能の出力のときは8ビット出力となります。
主にサーボモータなどに使われています。

 

主なエンコーダメーカ

UVWステージのしくみ(位置決め用高精度XYθステージ)

工業用の画像処理の分野では画像を撮影して検査をするばかりでなく、半導体やFPDの業界では位置決め(アライメント)用途にも応用されています。今回は位置決め用途で用いられているUVWステージという、高精度のステージを紹介したいと思います。

 

通常のXYθステージUVWステージの基本構造は以下のようになっています。(若干異なる場合もあります。)

【通常のXYθステージ】

 

【UVWステージ】

 

UVWの各軸は、下図のように可動します。

 

UVWステージでXYθの位置決めが出来る原理は、

 

上図のようにU軸を動かすとステージはX方向へ移動し、V軸とW軸を同時に動かすとY方向へ移動します。
さらにU軸、V軸、W軸を同時に動かすとステージは回転します。

 

UVWステージの特徴は

  • ステージの高さを低く抑えられる
  • 二層構造なので、ベース面とステージ面との平行度を出しやすい
  • モーターが移動しないので、配線が用意(断線する可能性が低い)
  • 高精度

など。
なぜ?UVWステージが高精度の位置決めが可能になるかというと、特に回転方向の位置決めにおいて、同じ移動分解能のモータを使う場合、てこの原理のように、回転中心から離れた位置でステージを動かした方が回転の分解能は向上します。

 

FPDなどの位置決めにおいては、ステージのサイズも大きくなり易いので、ステージの両端で回転方向を制御するUVWステージは有効的に高精度な位置決めを可能としてくれます。

 

そんな良い事だらけのUVWステージですが、欠点もあります。

  • 移動可能範囲が狭い
  • ステージ制御が難しい

など。
移動可能範囲が狭いのは、もともと位置決め用途で使われる場合の多いUVWステージなので、最初にメカ的に粗調整しておき、UVWステージで精調整する場合が多いので、あまり問題にはならないと思います。

 

ステージ制御においては、位置決めマークの位置を画像処理で抽出し、ズレ量を算出し、目的の位置へと合わせ込みますが、この時のずれ量は通常、X、Y、θのずれ量で算出されます。
しかし、XYθ軸の移動量からUVW軸の移動量へと変換するには、ちょっと面倒なのでUVWステージの制御や位置決めの処理をライブラリ化している物もあるので、使用を検討してみては如何でしょうか?

 

【主なUVWステージメーカ】

ヒーハイスト精工株式会社

光学部品/カメラバイヤーズガイド

マシンビジョンで使われるFA用のレンズ、照明、キャプチャボードなど紹介します。

 

ラインセンサ用レンズ

ニコン Fマウントレンズ
栃木ニコン 高性能、高精細ラインセンサ用レンズ
Fマウント、M72マウントなど
ラインセンサ用レンズとしては超高性能
ペンタックス Fマウント、Kマウント、Cマウントレンズなど
シグマ Fマウント、Kマウントレンズなど
タムロン Fマウント、Kマウントレンズなど
シュナイダー 高精細ラインセンサ用レンズ
京セラ Fマウント、M72マウントなど

 

Cマウントレンズ

ミュートロン Cマウント、M72レンズ、M42レンズ、テレセントリックレンズ
杉藤 Cマウントレンズ
ヴイ・エス・テクノロジー Cマウント、M72レンズ、テレセントリックレンズ
オプトアート Cマウントレンズ、テレセントリックレンズ、
ハロゲン、メタルハライド照明、ライトガイド、
LED照明などなど
東京パーツセンター Cマウントレンズ、近赤外用レンズ
興和オプトロニクス Cマウントレンズ、Fマウントレンズ

 

照明

シーシーエス LED照明
シマテック LED照明
1つのLED照明でローアングルから通常のリング照明までをカバーした
ドーナツ形状の「マルチライティング」が特徴的。
日進電子 LED照明、ストロボ光源
京都電機器 LED照明、高周波蛍光灯
電通産業 高周波蛍光灯、LED照明
レボックス LED照明
ラインセンサ用として、3Mを超えるシームレスな照明もあり。
アイテックシステム LED照明
比較的安価。通販サイトもあり。光ショップ

 

カメラ

アバールデータ 近赤外カメラ、ハイパースペクトルカメラ
Teledyne DALSA ラインセンサ(モノクロ、カラー(3ライン、3CCD))
TDIカメラ、HS Linkカメラ
エリアセンサ(モノクロ)、GigEカメラ
ほぼ全てアンチブルーミング機能付き
オムロンセンテック エリアンセンサ、ラインセンサ
CameraLink, CoaXPress, Opet-C:Link,GigE, USB
日本センサリデバイス(NED) ラインセンサ(モノクロ、カラー(3ライン))
高速CMOSラインセンサ
竹中システム機器 ラインセンサ(モノクロ、カラー(3ライン))
エリアセンサ(モノクロ、カラー)
東芝テリー ラインセンサ(モノクロ、カラー(3ライン))
エリアセンサ(モノクロ、カラー)
ソニー エリアセンサ(モノクロ、カラー)、
インテリジェントカメラ
日立国際電気 エリアセンサ(モノクロ、カラー)
Adimec エリアセンサ(モノクロ、カラー)
CameraLink、Geg-E、CoaXPress
e2v ラインセンサ(モノクロ、カラー(3ライン))
Basler エリアセンサ、ラインセンサ
CameraLink、Gig-E
JAI ラインセンサ(モノクロ、カラー(3CCD、4CCD))
エリアセンサ(モノクロ、カラー(Bayer、3CCD))
cis エリアセンサ(モノクロ、カラー(Bayer、3CCD))
フローベル エリアセンサ(モノクロ、カラー)
センサーテクノロジー エリアセンサ(モノクロ、カラー)
IDT エリアセンサ(ハイスピード)
アプロリンク エリアセンサ(モノクロ、カラー)

 

キャプチャボード

アバールデータ 画像入力ボード(エリアセンサ、ラインセンサ、カメラリンク、
アナログ、デジタル)
10TapCameraLink対応品、FPGA処理ボードなどもあり。

大人の事情により、一社のみの紹介です。って、私の会社だから...

 

その他

ミスミ カメラ、照明固定用ブラケットなど
エドモンド レンズ、ミラー、光学ベンチなど
光学界のミスミ的存在。ほとんど揃います。
シグマ光機 光学部品(レンズ、ミラー、プリズムなど)
精密ステージ、ハロゲン、メタルハライド光源、ライトガイド
モリテックス Cマウントレンズ、テレセントリックレンズ、
ハロゲン、メタルハライド照明、ライトガイド、LED照明などなど
品揃え豊富
エス・エフ・シー カメラ、照明スタンド
ケンコー 各種レンズフィルタなど
F-Cマウントアダプタなどもあり。
SUS アルミフレーム、リニアアクチュエータなど
ラインセンサの撮影システムを組む時に安価に組むことができます。

 

お問い合わせについて

本ページは会社とは関係なく非公認なのですが、公知ではあるので、キャプチャボードをご検討の場合、レンズやなども含めてご質問などありましたら、弊社の問い合わせページ製品についての問い合わせはよりお問い合わせ下さい。

「イメージングソリューションというHPを見たのですが...」と言って頂けると、話が早いかも?しれません。

 

マシンビジョンへ戻る