Comments
Description
Transcript
ビームスプリッターを用いた 超高速度カメラ
報告 ビームスプリッターを用いた 超高速度カメラ 林田哲哉†１ 北村和也 新井俊希 米内 淳 丸山裕孝†２ †１ NHKES，†２ NHK放送技術局 Ultrahigh−speed color camera using beam splitter Tetsuya HAYASHIDA†１，Kazuya KITAMURA, Toshiki ARAI, Jun YONAI and Hirotaka MARUYAMA†２ †１ NHKES，†２ NHK Broadcast Engineering Department 要約 超高速度カメラの性能改善を目的として，光学レンズを通過した光をビームスプリッターで２分 岐し，それらの光を２つの30万画素超高速度CCDでそれぞれ撮影する超高速度カメラを試作し た。２つのCCDの駆動方法を変更することで，撮影枚数または最高撮影速度を従来のカメラの ２倍にすることが可能である。また，２つのCCDの配置を空間的にずらすことで解像度の改善 ができることや，CCDにマイクロレンズを付けることでビームスプリッターの適用による入射 光量の減衰を補償できることを確認した。 ABSTRACT 40 NHK技研 R&D/No.125/2011.1 We developed an ultrahighspeed color video camera that utilizes a beam splitter to increase the frame rate, the number of stored images, or the resolution. The camera has a beam splitter and two ultrahighspeed 300,000pixel charge coupled devices（CCDs）with a Bayer color filter array. Each CCD is located at each of the two outputs of the beam splitter. The CCD driving block was developed to separately drive the two CCDs. The experimental results showed that the maximum frame rate was 2 million frames/sec and the number of stored images was 288 frames. We also improved the resolution by using spatial pixel offset imaging in which the two CCDs are offset by onehalf pitch of a pixel in the horizontal direction. We showed that reduced sensitivity caused by the beam splitter could be overcome by using microlenses. 透過光 ビーム スプリッター レンズ 入射光 CCD1 反射光 CCD2 １図 ビームスプリッターを用いた超高速度カメラの基本構成 １．まえがき （１）駆動方法①：CCD１で144枚撮影した後，連続して 当所では，一瞬の現象を超スローモーション映像として 再現するために，超高速度CCDとそれを用いた超高速度 １∼３） カメラの研究開発を進めている 。超高速度CCDでは， CCD２で144枚撮影することで，撮影枚数を従来の２ 倍（288枚）にすることができる（２図（a） ） 。 （２）駆動方法②：CCD１とCCD２とで画像を１枚ずつ フォトダイオードで生成された電荷を直結するメモリーに 交互に撮影することで，最高撮影速度を従来の２倍 全画素同時に転送し記録することができるので，１秒間 （200万枚／秒）にすることがで き る（２図（b） ） 。 に最高で100万枚の画像を撮影することができる。これま なお，駆動方法②においても撮影枚数は288枚である。 でに，撮影枚数144枚の30万画素超高速度CCDとそれを用 （３）空間画素ずらし：CCD１とCCD２を相対的に水平方 いた単板カラーカメラを試作し，スポーツ中継や科学番組 向に１／２画素ピッチずらして配置することで，水平方 ３， ４） など，さまざまな番組の制作に利用してきた 。しかし， ５） 。 向の解像度を２倍にすることができる（２図（c） ） 撮影対象によっては撮影枚数，撮影速度または解像度が十 分ではなく，それらの改善が求められていた。 そこで，今回，上記の要望に応えるために，ビームスプ リッター ＊１ と２つの30万画素超高速度CCDを用いた超高 速度カメラを試作し，その効果を検証した。 ３．試作カメラの構成と仕様 試作した超高速度カメラの外観を３図に，仕様を１表 に示す。 光学系は４図に示すように，ビームスプリッター，２ つの30万画素超高速度単板カラーCCDおよび撮影終了後 ２．試作カメラで期待される性能 に光の入射を遮断するためのメカニカルシャッター＊２で 従来の超高速度単板カラーカメラでは，光学レンズを通 構成され，２つの超高速度CCDをビームスプリッターの 過した光をオンチップカラーフィルターを搭載した超高速 ２つの出力端にそれぞれ配置する。なお，安価で種類の 度単板カラーCCDで撮影していた。これに対して，新た 豊富な市販のレンズを使用できるようにするためにFマウ な超高速度カメラでは，１図に示すように，光学レンズ ント光学系を採用した。また，フランジバック長＊３は46.5 を通過した光をビームスプリッターによって透過光と反射 mmで，ビームスプリッターと２つの超高速度CCDをそ 光に２分岐し，それらの光を２つの超高速度単板カラー の中に配置することが困難であったので，ビームスプリッ CCD（CCD１とCCD２）でそれぞれ撮影する。 ターに屈折率の高いガラス材料（n=1.716）を用い，実効 新型の超高速度カメラでは，２図に示すように，２つ ＊１ 入射された光を反射光と透過光に２分岐させる光学部品。 のCCDの駆動方法または配置を変えることで，撮影枚数， ＊２ 入射光の露出時間を機械的な開閉で制御するシャッター。 最高撮影速度または解像度を改善することができる。 ＊３ レンズマウントのマウント面から撮像素子面までの距離。 NHK技研 R&D/No.125/2011.1 41 報告 CCD1 （撮影枚数144枚） CCD2 （撮影枚数144枚） 撮影時間 （a）駆動方法①：CCD1で撮影した後，連続してCCD2で撮影 1/2周期 撮影時間 （b）駆動方法②：CCD1とCCD2とで画像を1枚ずつ交互に撮影 CCD1の画素 CCD2の画素 50.4μm 25.2μm （c）空間画素ずらし：CCD1とCCD2を相対的に1/2画素ピッチずらして配置して撮影 ２図 ２つの超高速度CCDの駆動方法および配置 ３図 試作した超高速度カメラ 42 NHK技研 R&D/No.125/2011.1 １表 試作した超高速度カメラの仕様 撮像素子 超高速度単板カラーCCD×2 画素数 水平720×垂直410×2 アスペクト 16 : 9 撮影速度 30枚/秒∼200万枚/秒（最大時） 収録枚数 288枚（最大時） 感度 2,000lux，F15（撮影速度30枚/秒，5,600K） S/N 51dB 出力 HDSDI：1出力 外部トリガー TTL（5V：正，負） ，メイク接点 レンズ Fマウント カメラ重量 21kg カメラ寸法 317mm （V） ×286mm （H） ×465 mm （D） 位置調整機構 ※ IR カットフィルター ビームスプリッター Fマウントレンズ ビームスプリッター ５図 試作した光学系 レンズマウント 30万画素超高速度CCD 設けた２つのFPGA（Field Programmable Gate Array） メカニカルシャッター は外部の制御用PCで設定されるパラメーター（撮影開始， 撮影速度，露光時間など）に応じて駆動パルスを発生す カメラのきょう体 ※Infrared : 赤外線。 ４図 光学系の構成 る。また，外部からのトリガー信号を受信することで駆動 パルスの発生を停止する。なお，FPGA２に送られる停止 用のトリガー信号はFPGA１を経由し，遅延時間を任意に 的な光路長を短縮し，２分割光学系を実現した。５図に 設定できるようにすることで，撮影枚数や最高撮影速度を 試作した光学系の外観を示す。ビームスプリッターの試作 変更した。 にあたっては，透過光と反射光の光量が等しくなるように した。また，空間画素ずらしに対応するために，透過光側 の超高速度CCDの設置部に移動調整機構を設け，水平・ 垂直・回転方向の微調整ができるようにした。 駆動部では，２章で述べた駆動方法①と②の切り替え ４．試作カメラの撮像特性 試作した超高速度カメラを用いた撮影評価実験を行 い，２章で述べた３つの性能改善の効果を検証した。 4.1 撮影枚数の改善 を可能とするために，２つの超高速度CCDをそれぞれ単 撮影枚数の改善効果を検証するために，駆動方法①で実 独で駆動した。６図に駆動部の構成を示す。CCDごとに 験を行った。７図に長い風船が割れる様子を撮影した例 NHK技研 R&D/No.125/2011.1 43 報告 CCD駆動部 出力 1 16 16 CDS ＣＣＤ １ 駆動パルス 1 信号処理部へ 外部トリガー 駆動回路 1 FPGA 1 コマンド 内部トリガー 制御PCから 撮影開始，撮影速度， 駆動パルス 2 CCD 2 出力 2 露光時間など FPGA 2 駆動回路 2 16 16 CDS 信号処理部へ ６図 駆動部の構成 ７図 風船が割れる様子（撮影速度３万枚／秒，撮影枚数288枚） ８図 キセノンランプの発光の様子（撮影速度200万枚／秒） を示す。風船が完全に割れるまでの時間は約８msであり， 度の100万枚／秒に設定し，CCD２の撮影周期をCCD１ 風船が割れる一連の様子を鮮明にとらえるためには，３万 に対して１／２周期（0.5μs）遅延させて撮影した。再生時に 枚／秒の速度で，240枚（８ms×３万枚／秒）の画像を取 CCD１とCCD２の画像を交互に読み出すことで，最高撮 得する必要がある。従来の超高速度カメラでは撮影できる 影速度を200万枚／秒とした。なお，電子シャッター＊４を 画像の枚数が144枚に制限されていたので，撮影速度を下 使用して各CCDの電荷蓄積期間を撮影周期の１／２とした。 げる必要があったが，試作カメラでは288枚の画像が取得 ８図にキセノンランプ＊５の発光の様子を撮影した例を示 できるので，３万枚／秒の撮影速度で風船の割れ始めか す。撮影速度200万枚／秒の超高速度撮影を行うことに ら終わりまでをすべてとらえることができた。 4.2 撮影速度の改善 最高撮影速度の改善効果を検証するために，駆動方法② で実験を行った。実験では，各CCDの撮影速度を最高速 44 NHK技研 R&D/No.125/2011.1 ＊４ 入射光を電子信号に変換する期間（露出時間）を電気的に制御する シャッター。 ＊５ 高輝度放電灯の１種で，キセノンガス中での放電による発光を利用 したランプ。 画素ずらし有り 画素ずらし無し ９図 解像度チャートの撮像例 マイクロレンズ無し マイクロレンズ有り 10図 マイクロレンズの有無による感度の違い よって，キセノンランプの発光初期における発光強度の増 加の様子を鮮明にとらえることができた。 4.3 解像度の改善 解像度の改善効果を検証するために，空間画素ずらしの ５．超高速度CCDの感度改善 試作した超高速度カメラでは，ビームスプリッターを用 いて入射光を２分岐しているので各CCDに入射する光量 が半分になるという問題がある。 条件で撮影実験を行った。実験では，CCD１およびCCD そこで，この入射光量の減衰を補うために，各CCD ２で撮影した画像をPCに取り込み，２つの画像を合成処 にマイクロレンズを付けて感度を改善した６）。すなわち， 理した。９図に解像度チャートの撮像例を示す。２図 ガラス基板上に透明樹脂型押しによる下向き凸形状のマイ （c）に示すように，水平方向の空間画素ずらしを行ったの クロレンズを作製し，CCDのフォトダイオード部（感光 で，水平方向の解像度が従来の解像度の２倍になった。 部）に光を集中させた。また，マイクロレンズと超高速度 NHK技研 R&D/No.125/2011.1 45 報告 CCDとの位置合わせを正確に行うために，ピエゾ素子＊６ 条件で使用できることを確認した。 を備えた微動ステージを用いて最大の出力信号が得られる カメラ構成を変更する方法での性能改善には一定の区切 ようにした。その結果，10図に示すように，マイクロレ りが付いたので，今後は超高速度CCDの性能改善に向け ンズが無い場合と比較して2.2倍以上の感度が得られ， て，裏面照射型構造を適用した超高速度CCDの開発に取 ビームスプリッターの適用による入射光の減衰を補うこと り組む予定である。 ができた。 なお，本稿で述べた超高速度CCDおよび超高速度単板 カラーカメラの研究は近畿大学， （株）日立国際電気，ダ ６．むすび ルサ（株）と共同で行った。 ビームスプリッターと２つの30万画素超高速度CCD を用いた超高速度カメラの概要について報告した。 試作した超高速度カメラでは，２つのCCDの駆動方法 本稿は高速度イメージングとフォトニクスに関する総合シン ポジウム講演論文集に掲載された以下の論文を元に加筆・修正 または配置を変えることで，撮影枚数，最高撮影速度また したものである。 は解像度を２倍にできること，マイクロレンズを付ける 北村，新井，米内，丸山，林田，並木†１，柳†１，吉田†１， ことによって従来の超高速度カメラでの撮影時と同じ照明 “ビームスプリッターを用いた超 斉田†２，金山†２，江藤†３： 高速度カラーカメラ， ”JCHSIP2009, O33, pp.223228（2009） ＊６ 圧電素子。電圧を加えると形が変化する素子で，微小な距離を動か すアクチュエーターなどに用いられる。 46 NHK技研 R&D/No.125/2011.1 †１（株）日立国際電気，†２ 富士フイルム（株） ，†３ 近 畿大学 参考文献 1） T. G. Etoh, Y. Hatsuki, T. Okinaka, H. Ohtake, H. Maruyama, T. Hayashida, M. Yamada, K. Kitamura, T. Arai, K. Tanioka, D. Poggemann, A. Ruckelshausen, H. van Kuijk, J. T. Bosiers and A. J. Theuwissen： “An image sensor of 1,000,000 fps, 300,000 pixels, and 144 consecutive frames”，SPIE 26 th Internal Congress on HighSpeed Photography and Photonics, Vol.5580, pp.796804（2004） 2） H. Ohtake, T. Hayashida, K. Kitamura, T. Arai, J. Yonai, K. Tanioka, H. Maruyama, T. G. Etoh, D. Poggemann, A. Ruckelshausen, H. van Kuijk and J. T. Bosiers：“Development of a 300,000pixel ultrahighspeed, highsensitivity CCD” ，Proc. Of SPIE Vol.6119 61190E19（2007） 3） K. Kitamura, T. Arai, J. Yonai, T. Hayashida, H. Ohtake, T. Kurita, K. Tanioka, H. Maruyama, J. Namiki, T. Yanagi, T. Yoshida, H. van Kuijk, Jan T. Bosiers and T. G. Etoh：“Ultrahighspeed, highsensitivity color camera with 300,000pixel single CCD”，SPIE 27th International Congress on HighSpeed Photography and Photonics, 6279, 62791L（2007） 4） K. Kitamura, T. Arai, J. Yonai, T. Hayashida, T. Kurita, K. Tanioka, H. Maruyama, Y. Mita, J. Namiki, T. Yanagi, T. Yoshida, H. van Kuijk, J. T. Bosiers and T. Goji Etoh：“Ultrahighspeed, highsensitivity, portable CCD color camera” ，SMPTE Motion Imaging Journal, Vol.117, No.2, pp.4853（2008） 5） 菅原，三谷，齋藤，藤田，末次： “4板撮像方式における画素ずらし効果についての検討” ，テレビ誌， Vol.49, No.2, pp.212218（1995） 6） T. Hayashida, J. Yonai, K. Kitamura, T. Arai, T. Kurita, K. Tanioka, H. Maruyama, T. Goji Etoh, S. Kitagawa, K. Hatade, T. Yamaguchi, H. Takeuchi and K. Iida： “Improvement in the light sensitivity of the ultrahighspeed, high sensitivity CCD” ，SPIE, Bellingham, 68900M, 2008, pp.68900M.168900 M.9 はやしだ て つ や きたむら か ず や 林田哲哉 北村和也 1994年NHK入局。福岡放送局を経て，1996 年より同局放送技術研究所に勤務，固体撮像 デバイスの研究に従事。現在，NHKES先端 開発研究部チーフエンジニア。映像情報メディ ア学会会員。 2000年NHK入局。福岡放送局を経て，2003 年より放送技術研究所に勤務し，固体撮像デ バイスの研究に従事。現在，放送技術研究所 撮像・記録デバイス研究部に所属。映像情報 メディア学会会員。 あらいとしき よない じゅん 新井俊希 米内 淳 2004年NHK入局。同年より同局放送技術研究 所に勤務し，固体撮像デバイスの研究に従事。 現在，放送技術研究所撮像・記録デバイス研 究部に所属。博士（工学） 。電子情報通信学会， 映像情報メディア学会各会員。 1997年NHK入局。同局放送技術研究所，熊本 放送局，放送技術研究所に勤務し，液晶デバ イス，固体撮像デバイスの研究に従事。現在， 放送技術研究所撮像・記録デバイス研究部に 所属。応用物理学会，映像情報メディア学会 各会員。 まるやまひろたか 丸山裕孝 1985年NHK入局。青森放送局，大阪放送局， 放送技術研究所等を経て，放送技術局制作技 術センター，番組制作技術部に勤務し，超高 感度撮像デバイス，超高速度固体撮像デバイ スの研究に従事。現在，放送技術局チーフエ ンジニア。映像情報メディア学会会員。 NHK技研 R&D/No.125/2011.1 47