Comments
Description
Transcript
コンピュータビジョンとその応用 ∼知能ロボットと就寝モニタリング∼
秋田県立大学 機械知能システム学特別講義Ⅰ 資料 （2003.12.4.木） コンピュータビジョンとその応用 ∼知能ロボットと就寝モニタリング∼ 鹿児島大学 工学部情報工学科・理工学研究科 １． はじめに 渡邊 睦 応用の現場で利用される状況が整ってきた． コンピュータを用いて画像を解析・認識する 今回は，この CV における２つの基本技術であ 学問領域を，コンピュータビ ジョン (Computer る，３次元情報の抽出と動画像処理に関し，筆者が Vision，以下 CV)と呼ぶ．CV は，図 1 に示す様に これまで研究開発を行ってきた，知能ロボットと人 画像の強調や補正などの変換や特徴の抽出を行う 間状態の自動モニタリングを例にとって紹介する． 画像処理(image processing)，及び，３次元情報の 推定やシーン中に存在する物体の認識を含む，幅広 い概念である．人工知能の恰好の研究課題であるこ とから，１９５０年代には米国にて「多面体線画像 の理解」の研究として着手され，既に半世紀が過ぎ ようとしている． 日本においては，ＣＶ技術は国家プロジェクト の支援を受け発展してきた．（図2参照）１９６０ 年代には，人工衛星から得られる画像の画質改善や， 文字・図形を対象とした2値画像の認識など，ディ ジタル画像処理の実用課題解決が試みられたが，１ ９７０年代になると，様々な基本的アルゴリズムや 画像処理装置が提案され，それらを用いた各種応用 図1 画像処理とコンピュータビジョン 1) システムの研究・開発が活発に行われるようになり， 今日に至っている．特にこの数年の間に，パソコン に代表されるコンピュータの小型化・低価格化・処 理速度と記憶容量両面での性能向上，及び，民生用 ビデオカメラの普及による低価格化・性能向上が相 俟って急速に進行し，これまで蓄積されてきたCV の研究成果が，自動監視，自動交通システム(ITS), 知能ロボット視覚，映像作成・検索，高度マン・マ シンインタフェイス，医用・福祉など，様々な産業 図2 日本におけるコンピュータビジョン技術の発展 ２． 知能ロボット 携わり，さらにオフィス内を動き回るヒューマンフ 視覚や聴覚を持ち，環境を認識することにより， レンドリーロボット研究開発の立ち上げを行った． 脚，車輪，キャタピラを用いて環境を自由に動き回 り，人間とコミュニケーションするロボットは，Ｓ Ｆ小説や映画の世界では既にお馴染みのキャラク ターである．しかしながら，現実社会において実用 化されているのは，工場内に据え付けられ各種組立 作業などを行う産業用マニュピレータを除けば，走 行径路が固定されたクリーンルーム内無人搬送車 などで，未だ未成熟な段階にある．2) 最近，ソニ 図3 ステレオ視の模式図 ー社のＡＩＢＯなど，エンターテインメントを主目 的とするロボットが発売され注目されており，これ を契機に知能自律ロボットの研究が大きく発展す ることが期待される． 自律移動ロボット視覚における２つの基本機 能は，目標物の検出・追跡と，移動中に出現する障 害物の回避である．3) 画像センサを用いてこれら の機能を実現するためには，ステレオ視と呼ばれる ３次元認識の技術が有用である．図 3 に，ステレオ 視の模式図を示す． ３角測量の原理を用いて，２台のカメラに投影 された同一点の３次元位置を随時求める手法であ り，カメラ間の位置関係を推定するカメラキャリブ レーションと異なる視点における画像中の対応を 図4 ステレオカメラ間の幾何学的関係 求める対応探索の２つが，技術課題となる．図 4 原子力発電所内を移動するロボットにおいて に示す様に，対応点は，２つのカメラの各々の画像 は，比較的変化の少ない移動環境であることを利用 中心と基準点の 3 点を通る平面上に必ず存在する し，複数の移動中の目標物をステレオ計測すること ため，カメラキャリブレーションが予め行われてい による自己位置確認手法を開発した． れば，対応探索の範囲は大幅に限定できる．しかし 予めロボットに標準移動径路上を走行させ，位 ながら，動的に変化する環境を移動するロボットに 置確認を行うべき地点における目標物のステレオ おいては，カメラキャリブレーション，対応探索， 画像を収集，この中に存在するメーターボックスや 共に実現が困難な技術課題となる． ドアノブなど，目標物の３次元位置と画像認識手法 筆者らは 1980 年代前半より，通産省工業技術 を教示しておく．実際の移動中には，これら目標物 院「極限作業ロボット」大型プロジェクト(通称ロ を画像中から検出，ステレオ位置を求め，教示値と ボット大プロ)において，原子力発電所内を自律的 比較することにより，標準径路からのズレ量を逆行 に移動する保守点検ロボットの視覚システム 4) に 列計算により求め，自己の現在位置を算出する． 更に，移動中の障害物をできるだけ効率的に検 たビーチバレーロボット 6)においてである．図 7 に 出するため，計算コストの高いステレオ対応探索を この外観を示す．秒６０回の速度でカラー画像処理 行わずに空間認識を行う手法（視差予測ステレオ を行う専用ハードウェアを開発することにより，実 法）を新たに開発した．図 5 にこの模式図を示す． 時間でボールの位置をステレオ計測，軌道予測を行 ステレオカメラの光軸を予め平行に設定しておき， って，人間とラリーを続けることが可能となり，大 これから移動する空間に対応する視差（左右カメラ きな反響を呼んだ． 間の対応点のズレ）分ずらしつつ画像自体を比較照 合すすることにより，この空間に障害物が存在する か否かを簡便に判断する手法であり，原子力発電所 を模擬した環境における移動制御実験により，有効 性を確認した． 図6 図5 オフィスロボット BIRDIE の構成 視差予測ステレオ法の模式図 一方，オフィス内を移動するロボットにおいて は，環境の変化が激しいため，画像系列による環境 の教示を行っても有効に利用できない場合が多い． このため，マルチセンサ型のロボットを開発した． 5) 図 6 に，オフィス内自律移動ロボット BIRDIE の 写真を示す．テレビカメラ，超音波センサアレイ， 赤外線センサ，接触センサを持ち，外界を認識，障 害物を回避しつつ，目的地まで自律的に移動する高 度な機能を実現したが，開発当時(1989 ‐ 1991)の コンピュータ能力の限界から，円滑な移動行動は実 現することができなかった． 人間とリアルタイムでコミュニケーションで きるようになったのは，1997 年に展示会に出展し 図7 ビーチバレーロボットの外観 ３． 人間状態の自動モニタリング 我が国の２１世紀は「高齢者の世紀」となる． 学部付属病院・石原教授の研究グループ，及び東芝 エンジニアリング（株）と連携することにより，完 現在は人口の１５%程度である６５歳以上の高齢者 全に非接触かつ無拘束で就寝状態を自動的にモニ の比率が２０２０年には２５%程度に高まり，この タリングする動画像処理システムの開発を行い，秒 状態が１世紀程度続くと予測されている．これに伴 10 回程度の速度で，安定かつ高精度に，睡眠中の い，介護の必要な高齢者数も増加し，寝たきり・痴 呼吸停止を検知する性能を実現した 7)． 呆・虚弱を合わせた要介護高齢者数は，２０００年 に２８０万人，２０１０年には４００万人近くに達 本システムの特長として， z する見通しである． このような状況を鑑み，高齢者の睡眠時の生理 状態で睡眠が可能であり， z 状態を自動監視できる装置のニーズが高まってい る．これは，高齢者が睡眠中に死亡するケースが多 い反面，介護者が毎夜一晩中監視することの労力が 非常に大きいことに因る．また，高齢者だけに限ら ず，睡眠時無呼吸症候群(Sleep Apnea Syndrome) まず，非接触計測により被験者が真に自然な オペレータの調整操作なしに長時間の連続計 測が可能になるとともに， z 撮像系雑音の多い暗環境においても S/N の高 い呼吸信号が獲得できる． 点が挙げられる． 図 8 に本システムの模式図を示す．システムは， や 乳 幼 児 突 然 死 症 候 群 (Sudden Infant Death PC(Windows NT4.0，PentiumII 333MHz)，フレーム Syndrome)といった睡眠障害や病疾が社会的な問題 グラバー(Matrox 社製 Meteor)，CCD カメラ(東芝製 となりつつあり，マスコミなどで大きく取り上げら IK-MF41D : 1/2 インチ CCD，最低被写体照度 2 ルク れた結果，一般の関心も高まっている． ス)から構成され，画像処理は全て VC++で記述され 睡眠時の病的変異を監視できる装置は，病院や た PC 上のソフトウエアにて行う．カメラは，被験 老人ホーム等でのフェイルセーフのための設備と 者の寝ているベッドが視野内におさまるように予 してのニーズがあるだけでなく，在宅でも使用でき め設置しておく． るように，操作が容易かつ安価な装置の実現が期待 されている． 人の睡眠状態を計測する装置としては，睡眠ポ リグラフィと呼ばれる機器で使用される，接触型セ ンサを用いた生体情報の計測・記録装置がある．こ のような装置は，心電，呼吸，脳波等，様々な生体 情報を同時に計測できるため，睡眠障害の臨床診断 等に用いられている．しかし，センサが被験者に接 触して睡眠や体動を妨げる，オペレータが一晩中監 視する必要がある，等の理由から，一般の介護者が 日常使用できるようなものではない． そこで，１９９７∼１９９９年度に掛けて，社団法 人シルバーサービス振興会「介護支援システム開発 事業研究」の一環として委託を受け，愛媛大学医 図8 自動モニタリングシステム模式図 イミングで波形を正負反転させることにより，正弦 図 9 に動画像処理と画像認識による処理フロ 波的な呼吸波形に変換を行う．差分のフレーム間隔 ーの概略を示す．システムが起動されると，ROI(関 は，最も変化が大きく観測できる 1/4 周期に設定す 心領域)設定部において，呼吸計測するための関心 る．差分処理自体は秒 10 回行うので，呼吸周期が 領域(以下，ROI)が被験者胸部の画像領域上に設定 5 秒とすれば，1 呼吸あたり 50 点のデータが得られ される． る．この呼吸波形のゼロ交差間隔から，呼吸周期を 次に，呼吸計測部において，ROI 内の画像処理によ 計測する．ある被験者の安静呼吸時での処理画像の り被験者の呼吸波形が計測され，かつ同時に呼吸周 例，及び呼吸計測結果を図 10 に示す． 期や画像変化量が算出される． さらに次の状態判定部において，被験者の就寝状態 が判定される． 安静に呼吸していると判定された場合には，呼吸計 数から処理が繰り返され(図中“OK”)，そうでない 場合には ROI 設定から繰り返される(同“NG”)． 試作システムでは，秒 10 回の速度でこれらの処理 を繰り返し行う． 図 10 処理画像例と呼吸計測例 本システムの有効性を検証するため，1998 年 8 月に，宮崎県都城市郊外に在する特別養護老人ホー ム「中郷園」にて，入居者を対象に睡眠中の呼吸計 測を実施した．このうち，呼吸器系の疾患を持つと の医師所見を持つ一人の被験者の計測結果例を， 図9 処理の流れ 図 11(午後 10 時からの約 1 時間分)に示す． 呼吸計測部では，画像間時間差分という基本的 この被験者は以前に蜘蛛膜下出血を発症して な動画像処理技術を用い，胸部画像領域に設定され おり，予め医師から睡眠時無呼吸症候群と診断され た ROI 内での画像変化を求めることにより被験者 ている．図中の黒い矩形部分が呼吸停止状態(10 秒 の呼吸を計測する． 以上の呼吸停止)と判定された部分を示しており， フレーム間での絶対値差分の ROI 内和で計算 ほぼ 50 秒周期で呼吸停止を繰り返している．無呼 される画像変化量から，呼吸に伴う胸部の動き量を 吸症候群の程度は，一般に無呼吸指数(一時間あた 求める．この画像変化量は，被験者の吸気/呼気の りの 10 秒以上の無呼吸回数)で表され，正常は 5 動作切り替わり時に極小となるため，この極小のタ 以下とされる．この被験者は正常値よりはるかに多 くの無呼吸状態となっており，睡眠時無呼吸症候群 明け方に観測されることが多かった．このように， という医師の所見通りの計測結果が確認された． これまで医学的所見の無かった被験者についても また，計測データのうち 4 時間分について無呼 吸検出の性能を評価した．収録映像を目視で確認す 新たに睡眠時無呼吸症状が検出されるなど，本シス テムの有効性が確かめられた． ることにより無呼吸状態を計数したところ 244 回 以上の研究成果に対し，1999 年９月１日，社団 あったのに対し，システムでの無呼吸計数回数は 法人自動認識システム協会より，「第一回自動認識 251 回と，実際より多く計数された．これは，一回 システム大賞」特別賞を受賞することができた． の無呼吸状態の間に小さな呼吸/体動があって二回 ４．まとめ に分かれて計測されてしまうことが主な原因とな 以上，ＣＶの基本技術であるステレオ視と動画 っている．このような途中に小さな胸部運動のある 像処理について，筆者がこれまで開発してきた応用 呼吸停止を二度の無呼吸と見做すか否かは，ユーザ システムを例にとって述べた．現在は，人間の居住 の希望にしたがって決定すべきと考える．しかし無 する空間に画像認識モジュールを分散配置するこ 呼吸状態のシステム側の見落としは発生せず，確実 とにより人間と計算機システムとのシームレスな に検出できることが実証できた． 対話を実現する「親和的情報空間」の構築に向け， 研究を進めている． 1) 2) 3) 参考文献 松山，久野，井宮編：コンピュータビジョン 技術評論と将来展望，新技術コミュニケーシ ョンズ(1998) 渡邊：自律移動ロボットにおける環境理解， 画像ラボ，Vol.2，No.2，pp.15 - 18(1991) 渡邊，自律移動ロボットの視覚， 「先端画像 テクノロジー」第 2 部 画像認識 第 2 章, オ プトロニクス社, pp.62 - 69(1993) 4) の多重情報地図，日本ロボット学会誌，Vol.11， 図 11 フィールドテスト例（睡眠時無呼吸症候群） No.3，pp.401 - 409(1993) このフィールドテストにおいては，計 10 人の被験 者(年齢６８∼９４歳)に対して本システムを適用 5) ロボット学会誌，Vol.13，No.3，pp.375 - 被験者のうち，自力で歩行可能な人が 3 名，歩行で 382(1995) きないが食事等の作業を自律で行え寝返り等もで 6) 727(2000) が 2 名である．全 10 名の被験者のうち，予め無呼 あったのに対し，実際に一時間に 5 回より多くの無 呼吸症状が観測されたのは 4 名あり，特に起床前の 辰野：人とビーチバレーを打ち合うロボット， 日本ロボット学会誌，Vol.18，No.5，pp.721 - は動かせる人が 2 名，完全な寝たきり状態にある人 吸症候群と診断されているのは上記の 1 名のみで 渡邊，小野口，久野，Kweon：群化マルチエー ジェント構成による移動ロボット制御，日本 し，睡眠中の呼吸計測(一人あたり 8 時間)を行った． きる人が 3 名，介護者の助力で車椅子に座れ手足等 小野口，渡邊，岡本，久野：移動視覚のため 7) 渡邊：就寝状態自動モニタリングシステム， 月刊バーコード，Vol.13，No.2，pp.20 24(2000)