Comments
Description
Transcript
詳細報告書
マッチング・ファンド方式による産学連携研究開発事業 ネットワーク対応 超高精細カラー画像瞬時伝送記録システムの 開発・実用化 研究開発プロジェクト総括研究成果報告書 平成 13 年 5 月 総括代表者 大見 忠弘 （東北大学 未来科学技術共同研究センター・教授） 企業分担代表者 宮崎 龍二 （アイ･アンド・エフ株式会社・社長） ○ 研究開発プロジェクトの背景・経緯と目的 研究開発プロジェクトの背景と経緯 現在、各国の政治・経済・社会・安全保障を司る 21 世紀型グローバル・ネットワーク時代が既に始 まっている。資本・技術・情報という三大要素がインターネットを介して世界中を動き回る。人類の 築き上げてきたあらゆる知的資産（文化・科学・芸術・歴史・経済・娯楽を問わず）を世界規模で瞬 時に活用し、各個人が活き活きと活動を展開できる社会・技術体系を構築するシステムを生み出すこ とが、我が国 21 世紀の繁栄を維持するためには必要不可欠である。世界規模の情報を瞬時に取りこみ、 加工、伝送または保存し、必要な情報を世界的規模で瞬時に検索して活用し、同時に世界に向かって 情報を発信できる個人情報端末の実現が世界の決戦場である。その中で要となるのが高画質画像情報 の瞬時伝送・ファイリング・検索である。高画質画像情報はデータ量が極めて大きく、現状技術では ネットワークの伝送容量不足・伝送遅延・ファイリング容量不足といった問題を引き起こし、要求レ ベルには程遠い。これらの問題を解決するには高品質画像の超高圧縮技術の確立が絶対に不可欠であ る。 例えば、A4 サイズ 600dpi 画像の画素数は 3500 万画素にも達する。最低でもデータ量を数百 分の一にしないと、伝送・保存を短時間に行うことはできない。しかし、現在の静止画像圧縮技 術の主流である JPEG は、百分の一を超える高圧縮領域においては、画像のグラデーションが層 状になるなど急激な画質劣化が生じるため実用性はない。我々は平成 7∼10 年度に行った文部省 特定領域研究(A)において新ベクトル量子化(VQ)技術を開発し、高画質画像を 100 分の 1 以上に 圧縮することに成功している。当研究開発プロジェクトは、この研究成果をもとに、更なる圧縮 を実現する手法・高速演算処理アルゴリズムの開発、専用プロセッサの設計・製作を行い、より 高度な画像高速高圧縮技術を確立し、実用化するものとして着想された。 研究開発プロジェクトの目的 大学側の研究で、数百万画素以上の超高精細画像に対して 200 分の 1 以上の圧縮率を実現でき る超高圧縮率な静止画圧縮アルゴリズムを新規に開発する。また高精細化に伴う膨大な処理・演 算を瞬時に行うために、高速処理のためのアルゴリズムを新規に開発する。さらには、これらの アルゴリズムを搭載した専用プロセッサの設計・試作を行う。 企業側では、大学で研究開発した新規技術をシステム化し、アプリケーションの一例として高 画質高圧縮伝送記録装置の開発・実用化を行う。 以上により、高精細画像に対する超高圧縮率な画像圧縮技術を完成させ、実用化することが本 プロジェクトの目的である。 -1- ○ 共同研究組織 • 総 括 代 表 者 • 研 究 分 担 者 • 〃 • 企業分担代表者 • 研 究 分 担 者 合 計 ○ 研究期間 大見 須川 小谷 宮崎 笹倉 忠弘 成利 光司 龍二 豊喜 5名 （東北大学・未来科学技術共同研究センター・教授） （東北大学・大学院工学研究科・助教授） （東北大学・大学院工学研究科・助教授） （アイ・アンド・エフ株式会社・代表取締役社長） （アイ･アンド・エフ株式会社・常務取締役） 平成 12 年 3 月 17 日∼平成 13 年 3 月 31 日 ○ 研究開発の実施状況等 （1）研究開発の実施状況 高精細画像を 200 分の 1 以上の圧縮率で圧縮する画像圧縮アルゴリズムの開発 この研究課題に対して、我々は、従来のベクトル量子化（VQ）を使った画像圧縮において今 まで固定されていたマクロブロック（画像圧縮処理の単位、画像から取り出した小さなブロッ ク）の大きさを、画像に合わせて適応的に変化させることで高い圧縮率を得る新規な VQ 技術 の研究を行った（拡大マクロブロック処理）。実験による検討の結果、マクロブロックの大きさ を変化させるより、画像の局所的な性質により適応的に解像度を変換する（適応解像度処理） ことで、拡大マクロブロック処理と同様な効果が得られ、かつ処理も行いやすいことを究明し た。解像度変換の判断基準については、様々なテスト画像に対して検証を行い、最適な方法を 検討した。また、本静止画圧縮アルゴリズムの研究においては、いくつかの非可逆圧縮技術と 可逆圧縮技術が組み合わせ、全体として高い圧縮率を達成できるよう、アルゴリズムの全体構 成に関する検討を行った。 画像処理を高速に行う処理アルゴリズムの開発と専用プロセッサの開発 画素数が極めて多い高精細度・高品質画像においては、画像圧縮の際の処理が膨大なものと なる。新しい VQ 画像圧縮アルゴリズムの開発と並行して、画像処理演算量を減少させるアル ゴリズムを検討した。具体的には、静止画像圧縮において VQ 符号化の精度を落とすと画質に 影響してしまうため、最適な解を保証しつつ演算量を減少させることができる VQ 符号化アル ゴリズムを検討した。VQ 符号化アルゴリズムの検討においては、専用プロセッサに採用される 並列ハードウエアとの整合性が良くなるよう考慮した。 また、専用画像圧縮プロセッサのアーキテクチャ設計にあたっては、処理性能を最大化する ため、多段階の並列化ハードウエア上に、開発した VQ 符号化アルゴリズムを効率良く実現で きるよう配慮した。また、プロセッサチップのインターフェース仕様、動作速度の仕様に関し ては、実用化を担当する企業側と協議の上決定した。 チップはフルディジタル構成であり、ハードウエア記述言語を使って設計を行い、ゲートア レイプロセスを使って製造した。 -2- 高画質高圧縮伝送記録装置の開発・実用化 大学側で研究開発した技術の実用化・事業化を目指して、企業側では応用機器の研究開発を 行った。企業側では、大学側で開発した専用プロセッサを使った応用機器を開発する方針で企 画・開発を行った。今回のプロジェクトにおいては、高画質高圧縮伝送記録装置の一例として 高画質高速カラーファクシミリの開発を一応の目的としているが、新しい画像圧縮技術の幅広 い製品分野への応用の可能性を追求するため、静止画圧縮を高速に行うアクセラレータボード を、パーソナルコンピュータに追加できる PCI 拡張ボードという形で開発した。これにより、 カラーFAX はもちろん、様々なアプリケーションについて実用化実証試験ができるようになっ た。 （2）各機関別の研究開発目標、実施方法、成果 （2-1）東北大学 大学側における研究では、数百万画素以上の超高精細画像に対して 200 分の 1 以上の圧縮率 を実現できる超高圧縮率な静止画圧縮アルゴリズムを開発することを第一の目標としている。 また、高精細化に伴う膨大な処理・演算を瞬時に行うために、高速処理のためのアルゴリズム を新規に開発し、これらのアルゴリズムを搭載した専用プロセッサの開発を行うことを第二の 目標としている。 新規静止画圧縮アルゴリズム開発の実施方法は以下のとおりである。前節で述べた適応解像 度処理を採用した静止画圧縮アルゴリズムを設計し、コンピューター上で様々な部分の処理、 全体構成などを変えながらシミュレーションすることで最適なアルゴリズム構成を得た。また、 アルゴリズム開発にあたっては、ハードウエアで実現しやすいよう、ハードウエアを担当する グループと密に情報交換を行い、随時アルゴリズム修正を行った。 また、専用プロセッサ開発の実施方法は以下の通りである。静止画圧縮アルゴリズムの開発 と並行して、画像圧縮アルゴリズムの中心となる VQ 符号化を高速で行う方法を検討した。そ の結果、最適解を保証する新規な VQ 符号化アルゴリズムを得た。新しい VQ 符号化アルゴリ ズム開発の後、ハードウエアのモデリングを行い、パフォーマンスシミュレーションを行った。 パフォーマンスシミュレーションの結果、仕様を充分満足することが確認できた時点で、チッ プの全体アーキテクチャ、インターフェース仕様を策定した。チップのインターフェースにつ いては、応用機器の開発を行う企業側と協議の上決定した。チップはハードウエア記述言語を 用いたフルディジタル設計手法を用いて実現した。 これらの研究による成果として、A4 原稿を 600dpi でスキャンした場合に相当する高精細画 像に対し、実用的な品質を保ったまま圧縮率約 300 分の 1 を達成できる静止画圧縮アルゴリズ ムを開発した。図 1 は、この静止画圧縮アルゴリズムで A4, 600dpi の画像を圧縮した場合の画 質を JPEG と比較して示している。開発した静止画圧縮アルゴリズムは、圧縮率 150 分の 1 以 上の超高圧縮率領域において JPEG をはるかに凌ぐ画質を得ることが出来た。なお、図 1 では 低圧縮率領域において開発した静止画圧縮技術は従来の JPEG に比べ画質が劣っているが、新 しい技術を導入することでこの領域における画質を JPEG と同等以上にする目処は既に立てて -3- 44 Test Image (5100x7020 pixels) 42 JPEG JPEG PSNR [dB] 40 38 VQ 36 This work. (VQ) 34 32 30 0 図. 1. 50 100 150 200 250 300 Compression Ratio [1/x] 350 400 開発した静止画圧縮アルゴリズムとJPEG アルゴリズムの画質比較。 CMOS 0.35µm 3-metal 6.14x6.14mm2 図. 2. 開発した静止画圧縮プロセッサのチップ写真。 いる。 また、開発した静止画圧縮アルゴリズムを搭載した静止画圧縮プロセッサを完成させた。こ のプロセッサは 0.35µm、3 層配線の CMOS プロセスを使って実現されており、チップサイズ は 6.14mm 角である。チップ写真を図 2 に示す。このプロセッサは、A4, 200dpi 相当の画像を 約 1.5 秒以内に圧縮できる。（なお、一般的な PC 上で同じ処理を行うと、VQ 符号化の部分の みで 1 分以上必要である。）このチップは 66MHz で動作し、電源電圧 2.5V の時、消費電力は 約 660mW である。 （2-2）アイ・アンド・エフ株式会社 アイ・アンド・エフ株式会社においては、大学側で開発された静止画圧縮チップを使い、高 画質高速カラーファクシミリを開発することを目的として作業を進めた。 開発するシステムの構成としては、静止画圧縮を高速に行う汎用のアクセラレータボードと いう形態を選んだ。これは、開発したボードを使い、カラーファクシミリだけでなく様々な製 品分野に向けた実用化試験が行えるよう考慮したためである。 まず、開発するシステムの概略について、静止画圧縮プロセッサの仕様と同時に検討を行い、 システムの全体構成を決定した。静止画圧縮プロセッサの仕様が固まり次第、プロセッサの設 -4- 図. 3. 静止画圧縮アクセラレータボード。 計と並行してアクセラレータボードの設計を遂行した。ボードの詳細なパターン設計等は委託 先にて行った。静止画プロセッサの試作品ができるまでは、ダミーのチップを使いドライバの 先行開発を行い、プロセッサの試作品が到着し次第、ドライバ・その他ソフトウエアの開発、 デバッグを行った。 これらの成果として、大学側で開発した静止画圧縮アルゴリズムに基く画像圧縮処理を高速 に行うことのできる画像圧縮アクセラレータボードが完成した。このボードは、ハーフサイズ の PCI ボードであり、パーソナルコンピュータの拡張ボードとして機能する。このボードによ り、新開発の静止画圧縮技術を応用した様々な機器の実用化実証実験が可能となった。このボ ードの写真を図 3 に示す。 また、開発したボードを組みこんだカラーFAX システムを開発して伝送試験を行い、正常に 動作することを確認した。 ○ まとめ （1）当該研究開発プロジェクト全体の進捗状況および成果のまとめ 研究開発プロジェクトの目的の項で掲げた 3 つの目的：新規の超高圧縮率な静止画圧縮アル ゴリズムの開発、静止画圧縮専用プロセッサの開発、高画質高速カラーファクシミリの開発、 はいずれも達成することが出来た。 静止画圧縮アルゴリズムの開発に関しては、A4, 600dpi といった高精細画像に対して、150 分の 1 以上の超高圧縮率領域で JPEG をはるかに超える品質で圧縮を行えるアルゴリズムの開 発に成功した。また、A4, 200dpi 相当の画像を約 1.5 秒以内で圧縮することのできる静止画圧 縮プロセッサを実現した。消費電力は約 660mW である。また、この専用プロセッサを搭載し た静止画圧縮アクセラレータボードを開発することで、高画質高速カラーファクシミリ等々、 様々な応用機器の動作をエミュレートできるシステムを構築した。これにより、開発した一連 の静止画圧縮技術の、様々なアプリケーションに対する実用化実証試験を容易に行うことが出 来、この技術の実用化に道筋をつけることができた。 さらに、開発したボードを組みこんだカラーファックスの実験機を試作し、伝送試験を行っ た。 -5- （2）今後の展開 本プロジェクトにより、高精細静止画像に対する高画質・高圧縮な画像圧縮技術の開発に成 功した。また、画像圧縮技術のみではなく高速に処理を行うためのプロセッサの開発にも成功 している。これらの開発された技術をもとに、現在実用化に向けた取り組みをすでに開始して いる。 まず平成 13 年度の秋に実際に実用化される予定のものとして、XGA レベルの静止画像を PC 上で圧縮し、その圧縮データを無線で伝送し表示する装置が挙げられる。この表示装置は、従 来 PC と表示装置を直接ケーブルで接続することによって PC 上の画面を表示していたものを置 きかえるもので、無線によりデータを伝送・表示することにより、従来のようなケーブル接続 の煩雑さからユーザーを解放するとともに、PC の設置位置の自由度を飛躍的に向上させること ができ、大きな市場拡大が期待できる。 また、他のアプリケーションとしては、600dpi 等の超高精細な画像を電子的に保存する電子 ファイリングシステムや VGA サイズ以上の画像を取り扱う監視システムなどへの展開・応用も 予定しており、現在実際に商品化に向けて実試験を行っている段階である。 このように、今後は、より高精細な画像を取り扱う分野が増加していくことが予想され、本 プロジェクトにより開発された技術が世の中に新しい事業を生み出してゆくと思われる。 ○ キーワード 画像圧縮、ベクトル量子化、VQ、静止画エンコーダ、静止画圧縮、画像処理、適応解像度処理、 VQ プロセッサ ○ 研究成果発表 • 特願 2000-250287「データ処理方法、データ処理装置及び記録媒体」（H12.8.21） 出願人：アイ・アンド・エフ株式会社、 発明者：大見忠弘、中山貴裕、誉田正宏 -6-