2016年度研究室紹介Visual班資料

Multimedia(Visual)班
早稲田大学 基幹理工学部
情報通信学科 甲藤研究室
1
Visual班とは
• 画像処理の研究を扱っています
• 主な研究分野
▫ 動画像圧縮符号化
▫ 圧縮動画像の画質推定
▫ 画像認識
▫ 車載画像処理
• 画像信号処理からコンピュータビジョンまで、動画像に
関する研究を幅広く扱っています
▫ 動画像に関係するものであれば、何でも研究できる！
2
動画像圧縮符号化
• 符号化とは
▫ 情報をデジタル化し、データの圧縮を行う技術のこと
▫ 現行の方式として、MPEG-2（地上デジタル放送）や、
H.264/AVC（インターネット動画共有サービス、ブ
ルーレイディスク）等がある
MPEG-2方式
746Mbps ⇒ 20Mbps
約1/40に圧縮！
東京タワー
H.264/AVC方式
746Mbps ⇒ 10Mbps
約1/80に圧縮！
ブルーレイディスクレコーダ
3
動画像圧縮符号化
• 最新の動画圧縮符号化方式 → H.265/HEVC
▫ 2013年1月に国際規格として承認された
▫ H.264/AVCの約2倍の圧縮効率を実現している
▫ 4Kや8K（2020年本放送）等の、高解像度動画像の圧
縮に対応 地上デジタル放送の16倍の解像度
【H.264/AVC】
【H.265/HEVC】
引用：https://www.ntt-at.co.jp/product/rfs_hevc_sdk/detail.html
4
動画像圧縮符号化
• 甲藤研の研究内容
▫ H.265/HEVCの性能をさらに改善する手法の提案
▫ H.265/HEVCに対し、最新の8K動画像をテスト動画
として使用しながら研究しています！
• 甲藤研における研究例
▫ 奥行き情報を用いて、圧縮による画質劣化が起こりや
すい部分（オクルージョン領域）を検出、劣化を防止
▫ 動き予測が当たりにくい動きを予め検出し、対策する
原画像
符号化ブロック分割画像
フレーム間・内予測画像
動きベクトル画像
5
動画像圧縮符号化
• 画像局所特徴量を用いたH.265/HEVCの符号化
▫ 外部処理を用いて、適切な符号化手法を決定
▫ SURF特徴量のマッチングを2フレーム間で使用
入力例
6
圧縮動画像の画質推定
• 画質推定
▫ 動画像を圧縮すると、様々なノイズが発生
▫ 人間が画質の劣化を判別するのは簡単だが、機械には
高度な技術となる
• PSNR（Peak signal-to-noise ratio）
▫ 原画像と圧縮画像の画素値を比較することで、圧縮画
像の劣化度を評価する指標
▫ PSNRの計算には、原画像が必要となってしまう
格子状のノイズが
発生！
7
圧縮動画像の画質推定
• 甲藤研の研究内容
▫ 原画像を用いずに、圧縮画像のみから画質（PSNR）
を推定する手法の提案
▫ あらかじめ様々な圧縮動画とそのPSNRをSVMに学習
させておくことで、与えられた動画のPSNRを推定
テスト動画
学習動画＋PSNR
テスト動画の
PSNRを推定
8
圧縮動画像の画質推定
• 甲藤研の研究内容（画質推定の応用）
▫ BM3Dによる圧縮動画像の画質改善
 BM3D → 似たブロックを集め、3次元変換によりノ
イズ を除去するフィルター
Original Video
Compressed Video
(3500kbps)
(A)
(B)
(C)
(D)
(E)
(F)
Frame of Compressed Video Applied by BM3D
with Input Sigma(a)5(b)10(c)25(d)30(d)35(e)40(f)50
9
画像認識
• 画像認識（コンピュータビジョン）とは
▫ 人間が当たり前に行っている視覚の機能を、なんとか
コンピュータに持たせようという研究分野
• 甲藤研における研究例
▫ KinectとPCLを用いたindoorの3Dレジストレーション
▫ 低出生体重児・新生児・乳児の身長推定
▫ 温度情報を用いた、画像内の人物検出の精度改善
？？？
女の人だ！
人間
コンピュータ
10
画像認識
• KinectとPCLを用いたindoorの3Dレジストレーション
▫ Kinectで部屋を撮影し、Point Cloudを作成
▫ レジストレーション（位置合わせ）により合成
▫ 合成する際のレジストレーション精度には問題点が多
く、その改善を目指す
KINECT
11
画像認識
• 低出生体重児・新生児・乳児の身長推定
▫ 新生児・乳児の身長発育データは重要だが、幼児と異
なり、身長の測定に手間がかかる
▫ そこで、画像・映像から正確な身長測定法を提案する
 Kinect により被写体を撮影し、寝ている状態で身長
を推定する
12
画像認識
• 温度情報を用いた、画像内の人物検出の精度改善
▫ 人物検出の一般的な手法である『HOG特徴量を用いた人物検出』は
完全ではなく、誤検出を伴うことがある
▫ 少しでも誤検出を減らすため、温度情報や類似度を利用して、条件
を満たさない検出結果を除去し、検出精度を上げる
原画像(可視光画像)
原画像(赤外線熱画像)
透視投影変換適用後の赤外
線熱画像
類似度の例
人物検出結果
(参考)従来手法による人物
検出結果
13
車載画像処理
• 自動車、鉄道の車載カメラによる画像を用いた処理
▫ GPSデータ等、他のセンサ情報を用いることも
▫ 自動車・列車の走行改善と、走行データから新たなも
のを生み出すという、2通りのアプローチがある
• 甲藤研における研究例
▫ 自動車の車載画像処理
 道路交通標識の自動認識
 パノラマ画像の生成
 道路案内標識の文字抽出
▫ 鉄道の車載画像処理
 レールの検出
 黄色い線の検出
14
車載画像処理
• 道路交通標識の自動認識
道路画像から標識を自動認識する処理の流れ
道路画像入力
円形部分抽出
特徴点抽出
特徴点のマッチング
15
車載画像処理
• パノラマ画像の生成（イメージモザイキング）
▫ 複数の画像を合成し、1枚の画像を生成
特徴点の検出と記述
特徴点のマッチング
画像変換行列を求め、投影
16
車載画像処理
• 道路案内標識の文字抽出
▫ 自動運転システム、地図の自動更新などに利用可能
入力画像
青色・標識座標抽出
文字抽出
標識抽出
文字認識
17
車載画像処理
• レールの検出
▫ エッジの探索により、曲線を含むレールを検出
マスク処理、平滑化
エッジ抽出
レール検出
18
車載画像処理
• 車載カメラ映像における人物検出
▫ HOG特徴量による人物検出は、フレーム単位の処理では誤検出
が多く、検出精度が低い
▫ 誤検出を削減するためにフレームの連続性を利用し、オプティカ
ルフロー推定を用いることで検出精度の向上を図る。
元画像
提案手法
19
いざ、Visual班へ！
• Visual班で学べること
▫ 画像処理プログラミング：Matlab、C、C++
▫ 画像処理・機械学習等の知識
 技術研究所や学会で、最先端の画像処理を学べる
• 外部機関との連携
▫ 日本放送協会（NHK）
 符号化に関するインターンシップ
▫ サムスン電子
 画質推定に関する共同研究
▫ グローバル・サーベイ株式会社
 自動車車載画像処理に関するデータ提供
▫ 情報通信研究機構（NICT）
 鉄道車載画像処理に関する共同プロジェクト
20
いざ、Visual班へ！
• 主な就職先
▫ 日本放送協会（NHK）
▫ TBSテレビ
▫ NTTコミュニケーションズ
▫ KDDI株式会社
▫ パナソニック
• 画像処理は、今後も大きな需要がある分野
▫ 解析のためのツールやデータも充実しており、実験結
果が可視化できるため、取り組みやすい
画像処理の最先端を、一緒に研究しよう！
21