Comments
Description
Transcript
MRI ｜ 所報 ｜手話解釈のためのコンピュータによる
JOURNAL OF MITSUBISHI RESEARCH INSTITUTE 三菱総合研究所 /所報 No. 35 お問い合わせ先 三菱総合研究所 広報部 電話： ： (03)3277-0003 FAX (03)3277-0520 E-mail： [email protected] 1999 研究論文 手話解釈のためのコンピュータによる人間動作解析 技術の研究開発 首藤 俊夫 浜辺 智 桂木 洋光 要 約 コンピュータ上に仮想的な人間モデルを構築する技術は、国内外において近年活発に研究されている。と くに、コンピュータゲームのアニメーションなどはCG技術の発展に伴い飛躍的にそのリアリティを向上させ ている。しかしながら、ゲームアニメーションの技術は人間の動作原理に迫るものではなく、見た目にもっ ともらしいアニメーションを作成しているだけであるものが多い。 一方で、製品の設計段階において、人間工学的な評価を行うために、CADデータなどと相性の良い仮想人 間モデルに対する期待が、製造業分野を中心に高まりつつある。 本研究では、将来的には人間工学的な評価が可能となるよう、ロボティクス分野で基本となる運動学（キ ネマティクス）の技術を用いて仮想人間モデルのプロトタイプシステムSLHuman（Sign Language Human model）をCASリサーチとの共同開発により構築した。動作の具体的な題材として、複雑な上肢運動を伴う 手話動作を採用した。３次元位置センサー、データグローブなどのデバイスの入力データを模擬したものを 用いて、逆運動学計算を行い、手話動作を生成することに成功した。 目 次 １．導入 1．1．仮想人間モデルの技術の現状 1．2．仮想人間モデルの将来像 ２．手話動作のための仮想人間モデル 2．1．仮想人間モデルによる手話動作 2．2．仮想人間モデルの構造 2．3．仮想人間モデルの動作解析技術 2．4．システムの概要 ３．評価 3．1．評価の概要 3．2．単語動作の評価試験 3．3．会話動作の評価試験 3．4．評価結果の考察 ４．まとめ 4．1．成果 4．2．今後の課題 三菱総合研究所 所報第35号（1999年９月） 102 手話解釈のためのコンピュータによる人間動作解析技術の研究開発 ● Research Paper Development of Human Movement Analysis Technology by Computer for Sign Language Interpretation Toshio Shuto, Satoshi Hamabe, Hiroaki Katsuragi Summary Virtual human model technology by computer is now the subject of many studies all over the world. The development of CG technology has resulted in highly realistic animation of computer games. Game animation technology, however, does not pursue the human movement principle, but in most cases only makes animations that look plausible. On the other hand, there is a growing expectation in the manufacturing industry of a virtual human model that is compatible with CAD data. This would enable ergonomic evaluation to be carried out at the design stage of products. Through joint development with CAS Research, we constructed a prototype virtual human model system “SLHuman” (Sign Language Human model) using kinematics technology, that will make ergonomic evaluation possible in future. Sign language, including complex upper limb movement, was adopted as a concrete theme of this study. Inverse kinetic calculation was conducted using simulated input data of devices such as a threedimensional position sensor and data glove, resulting in the successful generation of sign language movement. Contents 1. Introduction 1.1 Present state of virtual human model technology 1.2 Future image of virtual human model 2. Virtual human model for sign language movement 2.1 Sign language movement by virtual human model 2.2 Structure of virtual human model 2.3 Movement analysis technology of virtual human model 2.4 Outline of system 3. Evaluation 3.1 Outline of evaluation 3.2 Evaluation test for word movement 3.3 Evaluation test for conversation movement 3.4 Discussion of evaluation results 4. Conclusion 4.1 Results 4.2 Future issues JOURNAL OF MITSUBISHI RESEARCH INSTITUTE No.35（SEP. 1999） 103 1．導入 現在、我々を取りまく高度な技術製品のおかげで、日々の生活は便利になる一方であるかのように思 える。しかし高度な技術を用いた製品は高度なオペレーションを要求する場合がある。あるいは、その 便利さ故に単純なオペレーションのミスが重大な事故を引き起こす原因になるような場合もある。この ような事態は人間と製品とが必ずしもうまく適合していないことに由来していると考えられ、技術の高 度化に伴って今後もますます深刻化していくと予想される。さらに、人間と製品・環境の不適合は高齢 者にとってより顕著にあらわれると考えられるため、今後の高齢化社会の急速な進展に伴い、高齢者に 優しい製品・環境へのニーズは加速度的に高まることが予想される。 このようなニーズに応えて人間に優しい製品を開発するためには、製品の設計段階で人間適合性を評 価する仕組みが望まれる。そのような仕組みとして、人間の諸特性を何らかの方法で再現し、この再現 された人間と製品・環境との関係をシミュレートすることにより製品や環境の人間に対する適合性を評 価するシステムがあり、人間適合性評価シミュレータと言う。人間適合性シミュレータには、実機によ る実験がベースとなる実態シミュレーションモデルと、コンピュータ上に人間の諸特性を再現し、CAD ソフトなどにより構築された製品や環境のモデルとの適合性を評価する仮想人間モデルとがある。 本研究では、運動学（キネマティクス）に立脚した仮想人間モデルのプロトタイプシステム、SLHuman （Sign Language Human）の研究開発を行った。 評価のための具体的な題材としては手話動作を選んだ。手話は人間と製品・環境との関係を評価する ものではないが、手指を含めた複雑な上肢運動を伴うので、モデルの動作解析には適当な題材と言える。 1．1 仮想人間モデルの技術の現状 1） （1）仮想人間モデルに必要な技術 人間は高度に組織化された極めて複雑なシステムであるので、コンピュータ上にその機能を再現する ことは容易ではない。必要な基本技術としては、（1）人体の寸法・形状のモデリング技術、（2）生体特 性のモデリング技術、（3）適合性評価技術、（4）データ計測・解析技術とデータ蓄積技術、の４つが挙 げられる。以下にそれぞれの技術の現状について概説する。また、これらの技術の関係は図１の様にな る。 生体特性のモデ シミュレーションによる 適合性評価 リング技術 人体特性の推定結果 技術 人体特性のパラメータ 基礎データ モデルの枠組み提供 人体寸法・形状の モデリング技術 人体形状データ 図１．仮想人間モデル構築のための基本技術の関係 104 データ計測・解析技術 とデータ蓄積技術 手話解釈のためのコンピュータによる人間動作解析技術の研究開発 ● 1）人体の寸法・形状のモデリング技術 多くの仮想人間モデルでは、その目的とコンピュータの計算能力とのトレードオフによって、人体構 造を簡素化し、数個から数十個のリンク構造により再現している。しかし、このリンクの分け方に決定 的な方法は未だない。モデルの動作を自然で滑らかなものにするためには、当然そのリンク数、関節数 （自由度）が人間のそれに近い程よい。 厳密には人間の関節の回転構造は、機械系のボールジョイントやピンジョイントのような一定回転軸 を持っているわけではない。すなわち転がりと滑りの成分を持つ。さらに人間の骨格は一般に外力を受 けると多少変形する。しかし、解析の便宜上関節はボールジョイントやピンジョイントで、リンクは剛 体で、それぞれ近似されることが多い。 寸法データより表面形状を計算する技術は、精密な表現の必要性がなかったことと、動作を伴った形 状変化のシミュレーションにはコンピュータパワーを必要とすることなどのため、これまで仮想人間モ デルへの実装はされてこなかった。しかし、最近になって、ゲームソフトの開発などにより、表面形状 生成技術は飛躍的な進歩を遂げているので、仮想人間モデルへの応用も今後期待される。 2）生体特性のモデリング技術 生体特性のモデリング技術としては、人体各部の重心や質量などの諸特性量をもとに、動作・姿勢を 生成すること、および感覚特性のモデリングを行うことが挙げられる。動作・姿勢を生成する方法とし て、関節変位角を動作生成の基本とする運動学、静的な力のバランスを考慮して姿勢を生成する静力学、 関節トルクの時間変化により動作を生成する動力学がある。感覚特性は、物理的特性、生理的特性、心 理的特性が複雑に関連している。これらの全てを考慮に入れた仮想人間モデルは未だ存在しない。 3）適合性評価技術 仮想人間モデルにおける最も有効な適合性評価項目の一つは、人と物の位置関係が直接確かめられる ことである。これにより、人体と物との干渉の判定、動作域の計算、人体の四肢の到達域の計算等の技 術が可能となる。その他にも、自動車の操作系などに見られるフットコントロールの負荷評価、姿勢・ 動作の力学的負荷・安定性の推定、生理心理特性に基づく負荷評価、複合的な評価手法や評価ガイドラ インの組み込みなどが仮想人間モデルの評価機能として挙げられる。 4）データ計測・解析技術とデータ蓄積技術 上記のような技術を開発するためには、人体の寸法や形状、生体力学的特性に関する計測データが必 要不可欠である。主要な計測対象として考えられるものとして以下の12データを挙げることができる。 人体形状、人体各部の寸法、筋骨格系の特徴、リンク機構（特に関節中心点の定義と関節可動域）、姿勢 計測、姿勢に伴う寸法・形状変形量の測定、姿勢に伴う生体力学的量の測定、動作計測、動作に伴う寸 法・形状変形の測定、動作に伴う生体力学的量の測定、姿勢・動作に伴う解剖的生理的特性、それに姿 勢・動作に伴う心理的特性である。 （2）国内外で開発されている仮想人間モデル 国外では、商用の仮想人間モデルが既にいくつか開発されている１）。国内では、適合性評価を目標と した仮想人間モデルの開発は行われておらず、わずかにエンターテイメント指向のモデルが開発途上に あるにすぎない２）。国内外を通じて最も進んだ技術を有しているのは、米国EAI-Transom Technology社 によって開発されたTransom Jackだろう３）。バランス制御を用いた任意径路の歩行動作生成、NIOSHの 規格に準拠した疲労評価など、機能は充実している。その他のいくつかの主要なシステムを含め、動作 を中心とした機能比較を表１に示した。 105 表1．各仮想人間モデルの動作技術の特徴 関節数 39関節、88自由度 Jack ＋ 30関節、33自由度の手 上肢の構造 肘 1自由度 手首 3自由度 手30関節33自由度 17分節脊椎構造 動作生成法 非線形逆運動学 順（逆）動力学 バランス制御 RAMSIS 不明 不明 テストパーソンの動作を撮影して忠実に再現 Anthoropos 運動連鎖90関節 24節の背骨 エネルギーゾーン法による階層的連鎖運動 Ergoman 22関節46自由度 肩 3自由度 肘 2自由度 Ergodataデータベースに基づく動作 手首 2自由度 鎖骨 2自由度 肩 3自由度 MDHMS 全90リンク 肘 1自由度 逆運動学 手首 3自由度 2リンクの脊椎 Safework 99関節148自由度 不明 逆運動学 SAMMIE 17関節21リンク 不明 不明 WonderSpace 最大46関節 不明 基本動作と高次微分型接続技術による接続 1．2 仮想人間モデルの将来像 製品の設計段階で人間との適合性を正しく評価することは製品の設計者にとっても使用者にとっても 無駄をなくすために重要であるので、仮想人間モデル自体に対するニーズは、今後一層高まる一方であ ることは間違いない。本研究で特に注目する動作解析技術においては、今後重要である技術として次の ２つを挙げることができる。 （1）動作の本質の理解による動作情報の縮約 ドイツで開発されたRAMSISは表１にあるように、テストパーソンの動作の実測データを忠実に再現 するように仮想人間モデルの動作を調整するという方法で動作を生成している。この方法は、特定の動 作に関しては非常にリアルなものを生成することができるが、自律的に動作を生成出来ないので汎用性 に問題がでてくる。このような問題のため、現在のRAMSISは、自動車関係の動作解析のみに特化して しまっている。 より汎用性の高い仮想人間モデル構築のためには、人間動作の原理を理解し、その動作生成のアルゴ リズムにより自律的に動作を生成しうる技術を開発することが必要となる。これは、動作情報を大量の モーションキャプチャデータに依存する方法に比べて、圧倒的に少ないデータおよびアルゴリズムから 動作を生成することとなり、動作情報を縮約することに相当する。このような動作原理の研究は、不随 意運動においていくつかの研究が行われているに過ぎない。 （2）バランス制御などを含めた動力学計算 人間動作の動力学計算を行うためには、一般に非線形の運動方程式を数値的に解かなければならない ので、現状では実時間計算で取り扱うのは困難である。しかしながら、動力学計算を行うことができれ 106 手話解釈のためのコンピュータによる人間動作解析技術の研究開発 ● ば、筋力から運動の状態を求めることが可能となるので、応用的な意義は大きい。例えば、スポーツ科 学への応用、労働の疲労評価、義肢のソフト面での応用などが考えられる。Transom Jackでは、一部に 動力学計算も含まれているが、その機能は未だ不十分なので今後の一層の研究が必要な分野である４）。 2．手話動作のための仮想人間モデル 手話は動作の組み合わせで自分の意思を相手に伝える表現手法であり、一つ一つの動作がそれぞれ意 味を持つ。その点において、仮想人間モデルの動作の検証に合致した応用例であると言える。 また将来的には、手話動作を特定する技術を、音声あるいは文字に対応付けする技術と組み合わせる ことにより、生まれつき言葉を持っていない人と健常者の、コンピュータを介した円滑なコミュニケー ションを支援するシステムへと発展させていく可能性を持っている。 ここでは手話動作をターゲットに開発する仮想人間モデルSLHumanの概要を示す。 2．1 仮想人間モデルによる手話動作 動作とは、姿勢の連続的な時間変化と言うことができる。姿勢とは、関節の曲げ伸ばしにより実現す る、人間の部位が形作る身体の状態である。 このような動作を表現するために、仮想人間モデルは、人間の各部位を表す剛体リンクと、リンクと リンクを連結する関節から構成される。これらの各関節に角度を与えることにより、仮想人間モデルの 手話動作を表現する。各関節角度が作る関節ベクターの違いが手話動作の違いに当たり、動作の特定、 識別が可能となる。手話動作を仮想人間モデルで表現する際のイメージを図２に示した。 この時の仮想人間モデルの動作は、産業用ロボット、マニピュレータの分野で研究が進んでいる剛体 リンクのキネマティクス（運動学）を基礎とする技術を適用する。 手話動作 仮想人間動作モデル リンク間の関 節角度の時間 リンク 変化 関節 図２．手話動作の解釈 2．2 仮想人間モデルの構造 5） 人体を胴体、右腕、右手、...などの部位に分割し、それぞれの部位がいくつかの剛体リンクが関節によ って結合されたリンク群をなす、階層リンク群モデルを採用した。SLHumanにおける全身の関節自由度 107 を表２に、手指を除く全身のリンク構造を図３に示した。手話動作の表現には、手指の関節表現は必要 不可欠である。SLHumanでは、各指が１自由度を有する関節を２個ずつ持つモデルを採用した（図４）。 SLHumanの構造における特徴を以下に列挙する。 ●人体モデルは姿勢動作の基準となる身体の基準座標（ポーズ）と、各部位を表す剛体リンクからなる。 ●基準座標を含む胴体モデルに、頭部・頚部モデル、右腕・右手モデル、左腕・左手モデル、右脚・右 足モデル、左脚・左足モデルのリンク群が、各々のベースを起点に接続する構造を持つ。 ●手モデルの指関節は考慮するが足モデルの指は考慮しない。 ●関節自由度として合計62自由度を持つ。 ●背骨の姿勢は３自由度を有する２つの関節で表現する。 ●背骨と頚部の間の腕の付け根の位置に左右各１自由度を持つ。首の付け根から肩および腕にかけての 部分が背骨の軸周りに回転する。 表２．仮想人間モデルの関節自由度 部位 胴体部 頭部・頚部 右腕部 関節 関節1 3 関節2 3 関節3 1 関節4 1 関節1 2 関節2 2 関節1 3 関節2 2 関節3 2 7 10 10 右手部 左腕部 左足部 計 108 4 3 関節2 2 関節3 2 7 10 10 関節1 3 関節2 2 関節3 2 7 1 1 右足部 左脚部 8 関節1 左手部 右脚部 関節自由度 関節1 3 関節2 2 関節3 2 7 1 1 62 手話解釈のためのコンピュータによる人間動作解析技術の研究開発 ● 2 3 2 1 3 1 3 2 3 2 3 基準座標 2 z y x 3 2 2 2 2 2 1 1 図３．仮想人間モデルの全体構造 小指リンク3 小指関節1 小指関節2 小指リンク1 小指リンク2 図４．手指のリンク構造 109 2．3 仮想人間モデルの動作解析技術 6,7） ここでは、前節で定義した構造に基づいて、手話動作に関連した仮想人間モデルの動作の表現技術お よび解析技術に関して述べる。 （1）運動学（キネマティクス） 本項では、手話動作を表現するための運動学（キネマティクス）について示す。ここで言うキネマテ ィクスとは、仮想人間モデルの姿勢を関節変数（関節角）の関数として求めるものである。 図５に右腕の関節を示す。物理的な関節数は３で関節自由度は合計７である。一般的なマニピュレー タでは、リンクとリンクの間に一つの関節があり、その関節が１自由度を有する。したがって、関節の 関節変数（回転角度）を決定することにより、リンク同士の相対的な関係が決定される。 一方、図５の腕モデルでは一つの関節に複数の自由度が存在する。このような場合も、１自由度の関 節n個が長さの存在しないn-1個のリンクで連結されたものと見なして考えることができる。図５の右図 では、関節の自由度をフレームとして示している。ここでは理解を助けるため、長さの存在しないリン クで連結されたものと見なし、各フレームを分けて表しているが、実際はk1∼k3、k4とk5、k6とk7は 同一の位置にある。各フレームは、図５の右図のフレームで、矢印をつけた方向にそれぞれ１自由度の 回転を行う。回転方向は常にz方向とし右手系で回転する。 図５の７関節の関節変数を、関節同士の相対的な位置、姿勢を考慮しながら与えることにより、最終 的な腕モデルの姿勢を決定する。以下、右腕の付け根、右肩の位置に右腕ベースk0として、基準となる フレームを設置し、このフレームを基準に各関節のフレーム演算に関して式を展開する。 ここで、並進移動の変換行列をQ、回転の変換行列をRとし、各関節k1∼k7の関節変数（回転角）を a1∼a7とする。 k 1＝ k 0× R（z, a1） k 2＝ k 1× R（x, −90）× R（z, a2） k 3＝ k 2× R（y, 90）× R（z, a3） k 4＝ k 3× Q（z, − L1）× R（x, 90）× R（z, a4） k 5＝ k 4× R（x, −90）× R（z, a5） k 6＝ k 5× Q（z, − L2）× R（y, 90）× R（z, a6） k 7＝ k 6× R（x, −90）× R（z, a7） ここで、関節変数a1∼a7を引数とする回転行列Rは、関節角度の値を示している。また90あるいは−90 を引数とする回転行列R、並進移動の変換行列Qは、関節間の相対的フレームの違いによる変換を示して いる。 関節k1∼k7は基準フレームk0より順に計算され、変更することで姿勢変化を表現する。これは腕の根 元から順に関節角度を決定し、最終的に腕先端位置の姿勢を決定していることを意味する。 110 手話解釈のためのコンピュータによる人間動作解析技術の研究開発 ● 右腕ベース 腕関節1 z k0 腕関節1 自由度3 k1 y x k2 L1 z k3 腕関節2 腕関節2 自由度2 y k4 X L2 腕関節3 z 腕関節3 k5 y k6 自由度2 X L3 k7 図５．腕関節のキネマティクス （2）逆運動学（インバースキネマティクス） 前項ではそれぞれの関節角度が与えられた際の腕モデルの姿勢を求める方法に関して示した。ここで は逆に手先（教示点）の位置、姿勢の情報を基に、それらを満足する腕モデルの関節角を求める方法を 検討する。 表２に示したように、腕モデルは、合計７自由度を有するが、教示点の持つデータはポーズを表すx、 y、zの位置とx、y、zの各軸まわりの回転角度（yaw, pitch, roll）の計６つである。このため、数学的に 厳密な解法は与えられないので、解法に何らかの工夫を加えなければならない。 このような問題では、いくつかの軸が交わっていること、関節同士の相対的な位置が０度か90度であ ること等、リンクの構成の特徴から方程式を精査し、特殊なケースとして、解を得ることができる。前 述のTransom-Jackにおいても独自の計算法により腕系のインバースキネマティクスを実現している８）。 図６に本システムにおいて採用する腕モデルのインバースキネマティクスの解法を示す。その特徴は 以下のとおりである。 ●空間における３次元の幾何学的な配置を平面に射影して、平面幾何学の問題として肘の位置を算出す る。 ●肩関節、手首関節のフレームを求め、回転行列の成分を検査して回転角度の解を求める。 ●肩関節の解を求めた後、解法の途中で順運動学的な変換を行うことで、二段階に分けて解を求める。 ●手首関節のz方向回転角度として得られた解を、肘関節のz方向の解として使用する。 111 （a）肩の位置にある①右腕ベース、②教示点のポー z （a） ズおよびリンクの長さから、③肘関節の位置を y 求める。 ① x （b）①、②および③の3点から肩関節の①右腕ベー スからの回転変位を求め、肩関節の三つの関節 ③ 角度が決定する。 同じく3点から肘関節のy方向の関節角度が決 z y 定する。 ② x （c）四つの関節角度が求められたこの時点で、リン クモデルに対して姿勢変更（キネマティクス） を行う。 （e） （d）姿勢変更したモデルの手首位置のポーズを求め、 ②教示点のポーズとの差を出す。このときのx、 z y方向の変位が手首関節の角度となる。 y x （e）肘と手首が同一の軸上にあるため、z方向成分が、 z 残った自由度である肘関節のz方向の関節角度 に対応する。 y x 図６．腕関節の逆運動学計算解法 2．4 システムの概要 手話解釈を行うためには、入力デバイスを介して得られる手話動作をパソコンに取り込み、手と腕の 動作データをリアルタイムで解析して、仮想人間モデルのキネマティクス（運動学）に置き換える技術 が必要となる。また同時にこのデータを、辞書の中に動作データファイルとして格納することにより、 手話動作に対応する音声、文字の検索ならびに画面表示を行う技術も必要となる。 これらの技術は、入力デバイスとのインターフェイス技術、手話動作と辞書の対応化技術、姿勢動作 の定量化技術、仮想人間モデルの構築技術、の４つに大別できる（図７）。本研究は、このうちの姿勢動 作の定量化技術に関するものである。その他の技術に関しては、手話解釈のための人間動作解析システ ムに必要な技術ではあるが、本研究開発の範囲をこえるため、仮データの使用、簡略化した機能での代 用などにより対応した。これらを含めた本研究開発の範囲を図７に太実線で囲んで示した。 入力デバイスとしては、３次元位置センサーおよびデータグローブを仮定した。３次元位置センサー からのデータは、片腕について２箇所、両腕で４箇所のポーズデータとなり、データグローブからのデ 112 手話解釈のためのコンピュータによる人間動作解析技術の研究開発 ● ータは片手について10関節、両手で20関節のデータとなる。 仮想人間モデルの動作の検証のためには、これらの動作データを代用するものを使用する。デバイス のデータフォーマットに従ったデータ構造の動作データをいくつか書き込んだ動作ファイルを用意し、逐 次メモリに読み込んで入力デバイスからの入力を模擬する。 また、仮想人間モデルの表示は、スケルトンモデルと、３次元CGの実質上の国際的な標準ライブラリ であるOpenGLを用いたワイヤーフレームモデルを併用した９）（図８）。ワイヤーフレームモデル表示で は、その形状計算の負荷が大きいので、手指の表示部のみスケルトン表示を行うことも可能な形とした。 SLHumanシステムを構築するマシンは、OSをWindows95あるいはWindowNTとするパソコンとし、 開発言語はオブジェクト指向言語であるVisual C++とした。その基本となるオブジェクトは運動学、逆 運動学とそれらの基礎となる行列変換等の動作を表現するものである。これらのオブジェクトは、単独 で人間動作を表現するアプリケーションとなり得ると共に、手話動作に限らず、他のアプリケーション を開発する際にも再利用が可能である。 (1) 入力デバイスとのインターフェース技術 手話動作 入力デバイス 動作データ (2) 手話動作と辞書の対応化技術 動作解析 インバースキネマティクス 動作辞書 （音声・文字） 辞書データ検索・登録 関節ベクター 画面表示 動作 文字 音声 キネマティクス 人間モデル構築 人間モデル (3) 姿勢動作の定量化技術 (4) 仮想人間モデル構築技術 寸法データ 図７．手話解釈システムの概要 113 図８．OpenGLを用いたワイヤーフレームモデル 114 手話解釈のためのコンピュータによる人間動作解析技術の研究開発 ● 3．評価 3．1 評価の概要 開発した人間動作解析プログラムSLHumanに対する評価試験を行った。ここでは、図７で示した全体 システムの中で、人間の姿勢動作の定量化技術に的を絞り、開発したプログラムのキネマティクス、イ ンバースキネマティクスに関する検証を行った。 以下、評価試験にあたり、仮定したデータ、条件等を示す。 （1）模擬データ 手話解釈システムであるSLHumanの将来の最終的な目標は、３次元位置センサーおよびデータグロー ブから得られた人間の手話動作データをパソコンに取り込み、姿勢動作の定量化技術により仮想人間モ デルをパソコン内で動作させるとともに、登録済みの手話動作辞書を媒介にして、生まれつき言葉を持 っていない人々の円滑なコミュニケーションを支援するシステムを開発するところにある。 そのため、プログラムの検証のためには、３次元位置センサーおよびデータグローブのデータに対し て、仮想人間モデルが正常に動作することを確認する必要がある。 本研究においては、３次元位置センサーおよびデータグローブのデータ構造に従った模擬データファ イルを用意し、リアルタイムで入ってくる入力デバイスデータをファイル入力のデータで代替した。図 ９に模擬データのデータ構造を示した。 ３次元位置センサーのデータは、一つのセンサーにつき、センサー番号に２バイト、ポーズデータに 42バイト（１成分に７バイト×６） 、空白に３バイトで計47バイトを必要とし、４つのセンサーで47×４ =188バイトのcharacter型データとなる。また、データグローブのデータ構造は、先頭につくTに１バイ ト、10関節で30バイト（１関節につき３バイト） 、合計31バイトのcharacter型データとなる。 01 23.18 −21.50 −25.02 30.28 76.95 −46.98 02 25.66 27.93 −25.33 112.17 74.90 −15.34 03 23.18 −21.50 −5.02 30.28 76.95 −46.98 04 25.66 27.93 −5.33 112.17 74.90 −15.34 T231021502502302276254698354098 T546983540982310215025023022762 3次元位置センサー のデータ データグローブデータ（右） データグローブデータ（左） 図９．模擬データのデータ構造 1）センサーの位置 ３次元位置センサーは、①基準センサー、②右手センサー01、③左手センサー02、④右手センサー03、 ⑤左手センサー04の５つセンサーで構成される。 被験者は②∼⑤のセンサーを左右の手に２ヶずつ計４ヶ固定する。センサーをつけた被験者が両手を 動かすことにより、４ヶのセンサーの位置、姿勢は刻々と変化する。①のセンサーは、これらのセンサ ーの基準となるセンサーであり、計測される位置データおよび姿勢データは、①からの位置と姿勢を示 115 している。 したがって、センサーからの模擬データは、この基準センサーからの位置、姿勢を仮定し作成する必 要がある。図10に模擬データにおけるセンサーの初期位置を示す。 具体的には、以下のように設定した。 右手センサー01 （x,y,z,roll,pitch,yaw）=（50,−20,0.0,0.0,90,−90） 左手センサー02 （x,y,z,roll,pitch,yaw）=（50,20,0.0,0.0,90,90） 右手センサー03 （x,y,z,roll,pitch,yaw）=（50,−20,20,0.0,90,−90） 左手センサー04 （x,y,z,roll,pitch,yaw）=（50,20,20,0.0,90,90） 20cm 40cm 40cm 左手セン サー04 20cm 左手セン サー02 x z 基準センサー 50cm 図10．センサーの位置 2）仮想人間モデルの寸法 評価試験に用いた仮想人間モデルの寸法は図11の通りとした。 （2）評価方法 評価は以下の手順で行う。まず最初に手話辞典 10）から、動作の目標となる手話サンプルを抽出し、前 項で示したデータ構造を持つ模擬動作データを作成する。そのデータを入力として人間動作解析プログ ラム実行し、画面表示を確認する。 SLHumanでは、動作を表現することを目的とするため、本来画面表示結果は連続的な時間変化となる が、ここでは仮想人間モデルの最終的な姿勢によって評価を行う。ここでの評価の最も重要な点は、動 作解析（インバースキネマティクス）がどの程度正確に行われるかにある。また、合わせて指動作の表 現力、連続動作などの点にも着目して評価を行う。 116 手話解釈のためのコンピュータによる人間動作解析技術の研究開発 ● 7cm 20cm 40cm 15cm 25cm 18cm 18cm 25cm 8cm 30cm 40cm 40cm 29cm 図11．仮想人間モデルの寸法 3．2 単語動作の評価試験 （1）抽出単語動作 単語動作に関する、以下の①∼③の各評価ポイントに基づき、単語を抽出した。 ①動作解析（インバースキネマティクス）の正確さ 赤、贈る、私、買う ②指動作の表現力 彼、花、車 ③連続動作 母、新しい、明日 ①は肘関節を中心に大きな動作を必要とする単語をピックアップした。②はデータグローブからのデ ータの表現力に着目して抽出した。③はダブルアクションによって一つの単語を表現するものである。 （2）結果 結果を表３に整理して示す。また、図12、図13、図14にそれぞれ「赤」 、「彼」、「母」を表す単語動作 を示した。この結果、ほとんどの動作に関しては、インバースキネマティクスによって妥当な表現を得 ることが出来、比較的単純な「指をたてる、曲げる」動作に関しては十分表現できることが確認された。 また、一つの単語に関する連続動作については、ほぼスムースに姿勢変化ができた。 117 一方で、以下のような課題も確認された。動作解析（インバースキネマティクス）に関しては、設定 した動作によっては肘関節の位置を正しく計算できない場合があり、肘関節が内側に入ったり、肩より 上に来る結果となる場合があった。指動作については、各データが関節の１自由度の曲げのみしか表現 できないため、親指と小指を内側にまげて掌全体を丸めるような関節の動作を表現することは難しいこ とがわかった。 表３．単語動作の評価結果 単語 目標動作のポイント 結果の概要 備考 肘および手首を返して、人差し指 私 を胴体方向に向ける。右手センサ ーのroll角に180度を仮定した疑 ○ 最終姿勢のインバースキネマティクス は、ほぼ正確に解けている。 右手のみの動作 似動作データ。 表示結果では、十分に手首が口元まで 達しておらず、また肘の位置が低い。 赤 肘をたたみ、指先を口元まで持っ てくる。 △ また、動作データ作成時に、もっと高 い位置に肘を持っていくよう検討した 右手のみの動作 ものの、逆に肩より高い位置に肘が来 る結果となった。 贈る 姿勢データを与えず、位置データ のみで肘関節を直角に曲げる。 ○ 両肘をほぼ直角に曲げつつ、手話 買う を表現するため左右の手をそれぞ △ れにひねる。 概ね意図した動作となった。 左肘が内側に入って、目標動作を十分 に再現できなかった。 各データが関節の1自由度の曲げのみ 花 両手の指で花が開いていく様子を 表現する。 × しか表現できないため、親指と小指を 内側に曲げて手のひらをまるめる動作 を表現できなかった。 右手は人差し指を、左手は親指を 彼 たて、それぞれの指先を目標の位 若干、立てた指の方向が意図した方向 ○ 置に持ってくる。 からずれているものの、指表現は十分 に再現できた。 両肘をほぼ直角に曲げつつ、車輪 車 の回転を表現するため左右の手を ○ 概ね意図した動作となった。 それぞれにひねる。 母 立てた人差し指を高い位置に持っ ていき、xz面を移動させる。 ○ 立てた人差し指を高い位置に持っ 明日 ていき、ひねりを加えながら位置 ○ を指の位置に変化させる。 始めに曲げた状態の指を徐々に伸 新しい ばしつつ、両腕を前方へ移動す る。 118 概ね意図した動作となり、複数姿勢間 右手のみの動作、 のつながりもスムースであった。 複数アクション 概ね意図した動作となり、複数姿勢間 右手のみの動作、 のつながりもスムースであった。 複数アクション 初期の指の状態が、花と同様の理由で △ 十分ではない。指を徐々に伸ばしてい く動作はスムースであった。 複数アクション 手話解釈のためのコンピュータによる人間動作解析技術の研究開発 ● 手話サンプル あか 【赤】 同形 赤（せき） 赤（しゃく） 赤い 赤らむ 漢 動作データ（cm, degree） センサー No. 01 No. 02 No. 03 No. 04 グローブ 右 赤らめる 赤々 左 唇にそって人さし指を横へ 引く（唇の色で赤を示す） 。 x y z 50.0 −5.0 0.0 0.0 0.0 50.0 −10.0 52.0 0.0 親指 0.0 人差指 72.0 0.0 中指 roll pitch yaw 0.0 −90.0 −145.0 0.0 0.0 0.0 0.0 −90.0 −145.0 0.0 薬指 0.0 0.0 小指 90.0 0.0 90.0 90.0 90.0 90.0 0.0 90.0 90.0 90.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 表示動作 図12．単語動作「赤」 119 手話サンプル かれ 【彼】 同形 彼（ひ） かれ（かの） 漢 動作データ（cm, degree） センサー z roll 75.0 0.0 45.0 No. 02 80.0 15.0 40.0 0.0 No. 03 65.0 5.0 45.0 75.0 No. 04 60.0 グローブ 親指 左 タ の親指を、右手人 左手○ さし指でさす（さすこと で第三者であることを示 す） 。 表示動作 120 y No. 01 右 図13．単語動作「彼」 x 10.0 人差指 40.0 中指 75.0 0.0 薬指 pitch yaw 0.0 −100.0 0.0 100.0 0.0 −100.0 0.0 小指 90.0 0.0 90.0 90.0 90.0 90.0 0.0 90.0 90.0 90.0 0.0 90.0 90.0 90.0 90.0 0.0 90.0 90.0 90.0 90.0 100.0 手話解釈のためのコンピュータによる人間動作解析技術の研究開発 ● 手話サンプル はは 【母】 漢 同形 母（ぼ） 動作データ（a） （cm, degree） センサー No. 01 No. 02 No. 03 ママ No. 04 お母さん グローブ おふくろ 右 母親 左 小指の先でほおをなで、そ のまま前へ出す（〔女〕の 手話に関連して、肉親で あることを表す）。 x y z 50.0 −5.0 0.0 0.0 0.0 50.0 −10.0 60.0 0.0 親指 0.0 人差指 80.0 0.0 中指 roll pitch yaw 0.0 −90.0 −90.0 0.0 0.0 0.0 0.0 −90.0 −90.0 0.0 0.0 薬指 0.0 小指 90.0 90.0 90.0 90.0 0.0 90.0 90.0 90.0 90.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 動作データ（b） （cm, degree） センサー No. 01 No. 02 No. 03 No. 04 グローブ 右 左 x y z 60.0 −5.0 0.0 0.0 0.0 55.0 −10.0 50.0 0.0 親指 0.0 人差指 70.0 0.0 中指 roll pitch yaw 0.0 −90.0 −90.0 0.0 0.0 0.0 0.0 −90.0 −90.0 0.0 薬指 0.0 0.0 小指 90.0 90.0 90.0 90.0 0.0 90.0 90.0 90.0 90.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 表示動作 （a） （b） 図14．単語動作「母」 121 3．3 会話動作の評価試験 （1）会話動作 ここでは前節の単語の動作データを連結し、さらに動作と動作の間の動きまで含めた動作データを作 成し、仮想人間モデルを用いて手話による会話のシミュレーションを行う。 ①私（は） 、母（に）、赤（い）、花（を）、贈る ②彼（は） 、明日、新しい、車（を） 、買う （2）結果 表４および表５の結果が示すように、模擬データではあるが、概ねスムースに連続動作を表現するこ とができた。その中で、以下のようないくつかの点で不十分なところもみられた。 まず、比較的円滑だった一つの単語での姿勢変化に比べ、単語動作から単語動作への姿勢変化では、 変化が大きいことも有り、肘関節について不安定な状態が多くみられた。 また、左右対称なデータを与えても、それ以前の姿勢によっては対称動作とはならない場合があった り、一連の動作データを設定する中で、最終姿勢の動作データとして同一のものを与えても、途中のデ ータが異なる場合は、違った結果になる場合があった。 表４．会話動作①の評価結果 単語 1 2 3 私 私 母 前動作からの流れ 両手を体側にそろえた初期状態から右腕を徐々 に上昇させる。 下腕を上昇させた後、肘および手首を返して、 人差し指を胴体方向に向ける。 胴体方向に向けた人差し指の向きを徐々に上方 に変化させ、人差し指に代わり小指を立てる。 結果の概要 備考 上昇させている腕の肘の △ 位置が、外向き、内向き 右腕のみの動作 に若干乱れた。 肘を外側に張り出し後、 ○ 指を胴体側に向ける動作 右腕のみの動作 はスムースに行った。 右手の向きを胴体方向か ○ ら上方へスムースに変更 右腕のみの動作 した。 前方に出した腕を口元に 4 赤 一旦前方へ小指を突き出した後、立てる指を人 差し指に変更し口元に持っていく。 持っていったが、肘の位 △ 置が低く、十分外側に張 右腕のみの動作 り出した姿勢とはならな かった。 口元を指していた右手を下げつつ、やや前方に 5 花 突き出す。体側にあった左手を徐々に上斜め前 △ 方へ。同時にすべての指を伸ばす。 左手の上昇時に肘が内側 に入り込んだ。 左右対称に動作データを 6 花 両手を胸の前で、そろえる。 △ 与えたものの、両手非対 称の姿勢となった。 両手同時に動かしている 7 贈る 両手を徐々に前に突き出す。 △ にもかかわらず、非対称 の姿勢となった。 8 122 贈る 両肘を直角に曲げ、両手を前方に出して、手の ひらを上方に向ける。 ○ 最終的には、ほぼ対称の 姿勢となった。 左右対称動作 手話解釈のためのコンピュータによる人間動作解析技術の研究開発 ● 表５．会話動作②の評価結果 単語 1 彼 前動作からの流れ 両手を体側にそろえた初期状態から両腕を徐々に上昇させ る。 結果の概要 備考 上昇させている腕の肘 △ の位置が、一旦、内側 に入った。 若干、立てた指の方向 2 彼 両肘がほぼ直角となった状態から、左手は親指を立て、右 手は人差し指で左親指を指すような姿勢に変化させる。 ○ がずれてたが、両手の 姿勢変化は滑らかだっ た。 3 明日 右手は人差し指を上方に向けつつ徐々に位置を上げていき、 左手は体側の初期位置のあたりに持っていく。 左手が初期状態に戻る △ たが、戻らなかった。 顔の横にあった右手を下げつつ、やや前方に突き出す。身 4 新しい 体の左下側にあった左手を徐々に上斜め前方へ。同時にす 上昇させている腕の左 △ べての指の第２関節を曲げる。 5 新しい 両手の第２関節を徐々に伸ばしながら、手のひらを上に向 け両手を前方へ移動する。 よう動作データを与え 肘の位置が、外向き、 内向きに若干乱れた。 ○ 概ねスムースに位置、 姿勢の変更を行った。 左肘がやや内側に入り 込んでいるものの、右 左手の姿勢をｘ軸周りに90度回転させ、右手は人差し指 6 車 を立てて、左手のひらを指す。その状態から円を描くよう ○ 人差し指で円を描く動 作はスムースに行われ に右人差し指を動かす。 た。 さらに左肘が内側に入 7 買う 左手のひらの向きを再び上方へ向ける。右手親指と人差し 指は両関節とも曲げた状態で左手の位置へ移動する。 △ り込んだ。親指と人差 し指で円を作る動作の 表現はできなかった。 8 3．4 買う 左手のひらの上方から右手を前方へ突き出す。 △ 7と同様な状態で、右 手を前方に突き出した。 評価結果の考察 開発した人間動作解析プログラムが機能的に十分満足できるものであることが示された。ただ、いく つかの点で、課題として挙げられるべきところも見られた。 （1）肘関節 肘関節に関しては、設定した動作データによって動作が不安定になる場合があった。肘関節の角度は、 図６に示した解法で求められ、正確な肘関節位置の算出には、センサー位置が影響する。今回の評価試 験では模擬データを用いたため、データの整合性が十分であるとは言い難い。また、単語と単語の間の データに関しては、単純に補間して設定した値を使用している。したがって、今回の試験では模擬デー タ使用による影響を考慮する必要がある。 （2）指動作 データグローブからのデータは、それぞれの指の２つの関節に関する値である。ところが、実際には 指と指との間を開閉する自由度等で、手あるいは手のひらは、もっと柔軟な動きを行うことが可能であ 123 る。これらは、データグローブという入力デバイスに関する制限であり、仮想人間モデルが入力デバイ スから得られるデータを基に動作するという前提から発生する制限である。逆にこの前提がなければ、 仮想人間モデルの指もしくは手の動作表現はもっと自由度の高いものとなる。 4．まとめ 4．1 成果 本研究では、仮想人間モデルのプロトタイプモデルとして手話動作を模擬するシステムSLHumanを開 発した。とくに、動作に関する位置および姿勢の記述・座標変換・データ構造等の基盤技術の確立、模 擬データを用いた動作解析（インバースキネマティクス）技術に焦点をおき、CASリサーチとの共同研 究による開発を行った。手話動作を模擬した10単語の動作模擬データを作成し評価を行った結果、概ね 目標とする手話動作が表現可能であり、人間動作解析技術の機能が満足できるものであることを確認し た。また、それらの単語に関する動作データを連続的に実行し、複数の単語からなる会話動作も表現可 能であることを確認した。肘関節の動作、指動作の表現などいくつかの問題も確認されたが、それらに 関しても考察し、今後の課題を抽出した。 また、国内外の仮想人間モデル技術の現状調査・将来像の検討、仮想人間モデルのリンク構造・リン ク階層・全体構造・形状・関節自由度の決定など仮想人間モデル構築技術全般に関する調査研究も行っ た。さらに、SLHumanでは実装はしていないが、入力デバイスとのインターフェイス技術、手話動作と 辞書との対応化技術などについても検討し、手話解釈を行うシステムの全体像、必要とされる要素技術 の整理も行った。 4．2 今後の課題 本研究では、模擬データを用いて動作解析の検証を行ったが、動作データの精度という点で疑問が残 る。実際に３次元位置センサーおよびデータグローブからのリアルタイムデータを使用した、動作解析 機能の検証が課題として挙げられる。 また、逆運動学計算を用いて仮想人間モデルの動作を生成したが、その動作が手話として十分意思疎 通が可能なものであるかどうかの判定が難しい。会話として成立するためにはどの程度の動作が要求さ れるか、定量的な評価が必要である。この問題は辞書の対応化技術とも密接に関連した問題であると考 えられる。 とくに、指形状モデルは、その他の部位のリンクに対して、１オーダー程寸法が小さい。したがって、 ワイヤーフレームモデルでの描画では、線が非常に密になるため、手話動作では重要性が高いにもかか わらず、指の伸縮の状態の確認が困難である。指モデルの描画方法に加え、手部分のみ拡大したウイン ドウを作成する等、インターフェイスを含めた検討が必要である。 本研究では、仮想人間モデルの動作に着目して研究開発を進めていることもあり、人間モデルの寸法 データおよび形状データは実測データではない。今後手話動作から応用展開し、人間適合性評価のため には、関節可動域などを含めた実測データの導入、平均寸法モデルの構築等、いくつかのレベルアップ が必要となる。 124 手話解釈のためのコンピュータによる人間動作解析技術の研究開発 ● 参考文献 １）（社）人間生活工学研究センター，コンピュータ・マネキン研究委員会：『コンピュータ・マネキンに関する調査 研究報告書』 （1997） . ２）中俊弥：『インターネット上でCGキャラクタを自在に動かす』 「日経Computer Graphics」1997年11月号188-192. http://town.hi-ho.ne.jp/cgtech ３）N. Badler, D. Metaxas, B. Webber, and M. Steedman：“The Center for Human Modeling and Simulation” , Presence, Vol. 4, No. 1, 81-96（1995）.http://www.transom.com/ ４）H. Ko and N. I. Badler：“Animating Human Locomotion with Inverse Dynamics” , IEEE Computer Graphics and Applications, Vol. 16, No. 2, 50-59（1996） . ５）CASリサーチ：『CASステーション，（1996）』 ，CASリサーチ. ６）日本機械学会編：『バイオメカニクス概説』 ，オーム社（1993） . ７）J. J. Craig著，三浦宏文，下山勲訳：『ロボティックス』 ，共立出版（1991） . ８）D. Tolani and N. I. Badler：“Real-Time Inverse Kinematics of the Human Arm” , Presence, Vol.5, No.4, 393-401 （1996） . ９）三浦健二郎：『OpenGL３Dグラフィックス入門』，朝倉書店（1995） . http://www.opengl.org/, http://www.sgi.com/software/opengl/ 10）手話コミュニケーション研究会編集：『新・手話辞典』 ，中央法規（1992） . 125