Comments
Description
Transcript
サービス現場と仮想環境における 行動計測理解
サービス現場と仮想環境における 行動計測理解 産業技術総合研究所 サービス工学研究センター 蔵田武志 National Institute of Advanced Industrial Science and Technology 2 サービス工学とは サ ビス工学とは • • • サービス工学：サー ビスの利用側や提 供側のプロセスを工 学的な手法で観測、 分析、モデル化し、 デ これをサービスの生 産性向上に役立て る技術 勘や経験がカバー していた部分に工学 的手法を適用するこ とで、サービスイノ ベーションを活性化 ベ ションを活性化 技術をモジュール化 して幅広く活用・普 及を図る National Institute of Advanced Industrial Science and Technology 3 サービス工学における行動計測の重要性 • 現場の見える化 – 特に労働集約型サ 特に労働集約型サービスでは、現場と情報をいかに一致させるかが、最適なサ ビスでは、現場と情報をいかに 致させるかが、最適なサ ービス設計と運用のための課題 • 認知科学に基づく行動理解技術との連携 ヒステリシスのあるサービス利用者の 成長過程を考慮した行動理解 現場での映像・音声、生体センサ、加速度センサ等を用いた客観データ収集や、 回顧インタビューを用いたＣＣＥ（認知科学に基づくクロノエスノグラフィー） 実験室をサービス現場化するウォークスルーシミュレータ（ＷＴＳ） National Institute of Advanced Industrial Science and Technology 複合現実情報循環技術に基づく行動計測 • 4 サービス現場の実験室化：共創的な サービスとその設計を現場ベースに 実 効率的に実現 – センシングが行動や作業の履歴の精緻 化、サービスの状況対応機能向上、コン テンツオーサリングの効率化に寄与 – 仮想世界を構成するモデル、コンテンツ、 行動や作業の履歴が（特にサービス利用 者や提供者の行動）センシングの精度を 向上 – その双方をサービスプロセスに組み込む • 実験室のサービス現場化：サービス 実験室のサ ビス現場化 サ ビス 現場への介入時のコスト（実環境再 現、人的コスト、オペレーションを妨 げるリスク）を考慮した仮想化実環境 での事前評価 – サービス現場の実験室化で得られるコン テンツや履歴を効率的に流用可能 National Institute of Advanced Industrial Science and Technology 5 行動観測のための歩行者の位置方位推定 歩行動作認識に基づくPDR(Pedestrian Dead Dead-Reckoning) Reckoning)の利用 9 9 位置・方位の推定及び動作認識が可能 自律航法により密にインフラを設置する必要が無い センサの計測データと環境マップのフュージョン センサの計測デ タと環境 プの ジ ン 9 外部インフラや環境の知識を利用した誤差補正や不確かさの低減 監視カメラ 自蔵センサ モジュール RFIDタグ センサ/データフュージョン 環境モデル National Institute of Advanced Industrial Science and Technology 6 センサデータフュージョン（ＳＤＦ）の構成 気圧センサ 気圧 自蔵センサモジュール 加速度/ 磁気センサ ジャイロセンサ ジ イ セ サ 磁気ベクトル 加速度/ 角速度 P d ti d Pedestrian dead-reckoning d k i 移動速度ベクトル 相対高度変化量 動作種別 RFIDリ ダ RFIDリーダ タグID アクティブ RFIDタグ グ 監視カメラ ビデオ タグID RSSI 歩行速度 軌跡照合 軌跡照合/ 歩行速度推定 絶対位置推定 推定位置 センサ/データフュージョン （パーティクルフィルタ） 軌跡情報 3Dモデル 3次元環境モデル 位置/方位 位置/方位の出力 National Institute of Advanced Industrial Science and Technology 7 PDR（Pedestrian Dead-Reckoning） Dead Reckoning） 歩行者の腰部に装着した自蔵センサモジュールからの計測データを 歩行者の腰部に装着した自蔵センサモジュ ルからの計測デ タを 基に移動速度ベクトル・相対高度変化量の推定及び動作認識を行う 腰部にセンサモジュールを装着 腰部にセンサモジュ ルを装着 9 装着・メンテナンスが容易 9 重心位置に近く，動作認識の ための情報の取得が容易 歩行動作認識 9 安価なセンサが利用可能 自蔵センサモジ ル 自蔵センサモジュール ・加速度センサ ・ジャイロセンサ ・磁気センサ ・気圧センサ National Institute of Advanced Industrial Science and Technology 8 計測データの統合による位置・方位推定 PDRで推定した移動速度ベクトルからパーティクルフィルタにより 推定した移動速度 ク ル ら ティクル ィルタ より 歩行者の現在の位置・方位を推定 時刻t-1 時刻t 時刻t+1 移動速度ベクトルの不確かさから，歩行者の移動に伴い 位置の不確かさが増加 National Institute of Advanced Industrial Science and Technology 9 外部インフラとの連携 工場やオフィス等ではセキュリティサービスのインフラとして， 監視カメラやRFIDタグが利用されている とが多い 監視カメラやRFIDタグが利用されていることが多い 9 9 追加設置・維持コストの削減 測位に都合の良い配置 良 位置方位推定 セキュリティ 測位誤差補正 動的な歩行パラメータの推定 自動ビデオタグ付け National Institute of Advanced Industrial Science and Technology 10 軌跡照合と利用者識別 監視ビデオから 推定された軌跡 監視カメラ センサフュージョンで 推定された軌跡 監視ビデオ中の軌跡がセンサフュージョンからの軌跡と類似？ • • YES：歩行速度に基づく歩行パラメータ推定＆測位誤差補正 監視ビデオ中の軌跡をセンサ装着者のものと判定 NO：監視ビデオ中の軌跡をセンサ未装着者のものと判定 National Institute of Advanced Industrial Science and Technology 11 インタラクティブ3次元屋内環境モデラ 写真からの幾何学的情報を利用したモデリング支援 歩行者の位置方位推定との連携によるモデリング作業の効率化 歩行者の位置方位推定との連携による デリング作業の効率化 撮影した写真 各写真に対するローカルモデリング グローバルモデルへの統合 National Institute of Advanced Industrial Science and Technology 写真からのローカルモデル作成 I Input t : 1枚の写真 カメラパラメ タ推定 カメラパラメータ推定 Output : 3D屋内モデル 対話的モデリング 12 National Institute of Advanced Industrial Science and Technology 13 視体積拘束を利用したモデルの操作 写真上の2次元形状を保ったまま3次元環境モデルへの操作が可能 奥行きの変更 法線方向の変更 奥行き変更中のモデル 視体積 National Institute of Advanced Industrial Science and Technology 店舗及び施設における行動計測調査 14 • 外食２店舗、介護２施設において、従業員（１回最大６ 名）の行動を計測 • 実際のサービス現場で実現可能であることやその精度 、社会実装性等について検証 – 精度とセンサ配置密度との関係 – 装着型センサ等の現場投入に対する課題の抽出 装 • センサデータ履歴を用いた業務分析、ＣＣＥでの記憶想 起等 の可能性に いても検討 起等への可能性についても検討 – 動線と音声等からの書き出し記録との同期可視化 – 仮想化環境と動線等の可視化結果を企業側や調査者に提 示し、その可能性と課題について考察 – ＷＴＳでの履歴表示 表 National Institute of Advanced Industrial Science and Technology がんこ難波本店 装着したPDR(歩行者デッドレコニング)センサ等と計測対象者の例 現場で撮影した写真セット（４２枚）からインタラクティブモデラでの８時間の作業で構築した店舗内の一部 National Institute of Advanced Industrial Science and Technology がんこ阪急東通り店 厨房スタッフ 接客スタッフ（女将） センサデータから再現したスタッフの移動軌跡（20分間） 動線表示の例（店舗内モデルは写真セット（２１枚）から８時間で再現 ） National Institute of Advanced Industrial Science and Technology スーパーコート • スーパーコート平野（施設型） ス パ コ ト平野（施設型）、南花屋敷（集合住宅型）の２施 南花屋敷（集合住宅型）の２施 設での従業員（ヘルパ、看護婦、ケアマネ等）の行動を計測 • 計測日程 – １月９～１６日：平野 – １月１８～２４日：南花屋敷 装着型環境センサ ＰＤＲセンサモジュール スーパーコート平野 ４階建て ５６室 延床面積：１８６４.６３㎡ 17 ２階のセンサ配置 アクティブRFIDタグ （計74個） ビデオカメラ（計5台） 設置型環境センサ （計10台） National Institute of Advanced Industrial Science and Technology ハンズフリー全方位 ウォ クスル シミ レ タ(WTS) ウォークスルーシミュレータ(WTS) 18 サービス利用者・提供者にとって頻繁 サ ビス利用者 提供者にとって頻繁 に起こる状況を仮想的に再現し、Ｃ ＣＥ等による行動選択理解のため の事前評価等を実現 • 「サービス現場内の（特に歩行によ る）移動と比較的単純な作業の繰 り返し」を再現 • 他のサービス利用者・提供者との 対話による情報共有 • 手持ちデバイス（ハンディターミナ 手持ちデバイ （ デ タ ナ ル）や紙（地図、チェックリスト等）に よる情報共有と作業支援を仮想環 境で実現 National Institute of Advanced Industrial Science and Technology WTSに求められる機能と実験内容 19 求められる機能：仮想環境における評価実験でのノイズ混 入の抑制しながら前述の状況を再現 • 足踏み動作と体の回転による操作体系 – 絶対方位感覚の維持（ＶＲ酔いの抑制も） 絶対方位感覚 維持（ 酔 抑制も） – ハンズフリー（手持ちデバイスによる情報共有と作業支援） • 簡単な手作業も将来的には対応可能 – ＰＤＲデバイスを用いることによる実際の歩行と足踏みとの対応 付け • 写実的アバタによる他ユーザとの対話機能の提供 – 対話による情報共有 • 社会実装性の向上：コンパクトで簡易な機構による複 製の容易さ – コスト、スペース – 評価実験時の最大のコストの１つは、被験者（特にサービス提供 者）の拘束 → 可搬性も重要になってくる可能性あり 実験１：ＷＴＳ内に仮想的に再現した日本赤十字社医療セ ンター新病棟を用いた院内誘導に関する実験 – 受付で誘導情報を得て、地図を見ながら目的地まで移動 – 旧病棟の調査に基づき、典型的なルートを仮定 実験２：ＷＴＳの有効性自体の検証 – 実環境とＷＴＳとで被験者行動（今回は視線や移動）にどのよう な共通点や差異があるかを調査し、実験１のようにＷＴＳを用い て得られた実験結果の妥当性や今後の技術課題について考察 日赤新病棟内で地図や会話を頼 りに目的地に移動している様子 National Institute of Advanced Industrial Science and Technology 20 従来研究とＷＴＳの比較 • 従来研究の視点 – 臨場感、没入感 – 効率的な操作 – エンターテイメント、可視化 • ＷＴＳの視点 – サービス現場の事前評価でよく想定される状況を再現 – サービス現場での評価との違いが少なくなるような設計 – 社会実装性 National Institute of Advanced Industrial Science and Technology 21 おわりに 実験室のサービス現場化 仮想化実環境（ＷＴＳ）中での行動計測により、 行動選択理解を支援 効率的にサービス設計の初期仮説を枝刈り サービス現場の実験室化 ＰＤＲやＳＤＦによる常時行動計測 屋内モデリング 今後：行動計測のＣＣＥへの適用 今後 行動計測 適用 National Institute of Advanced Industrial Science and Technology