Comments
Description
Transcript
動作をトリガにした操作マニュアル生成システム
研 究 論 文 動作をトリガにした操作マニュアル生成システム 堀 聡*, 広瀬公太*, 松浦哲也**, 瀧寛和*** *ものつくり大学, **メルコブレインズ, ***和歌山大学 Automatic Generation of Operation Manuals through Work Motion Observation Satoshi Hori*, Kota Hirose*, Tetsuya Matsuura**, Hirokazu Taki*** *Monotsukuri Inst. of Technologists, **MELCO Brains, ***Wakayama Univ. 我々が解決しようとしている技能継承問題は、旋盤やマシニングセンタなどの製造装置の操作手順や保守 点検手順の共有化である。誰もが正しい手順で操作できるように、操作マニュアルを整備することが求め られているが、その作成は多くの労力を必要とする。そこで、我々はベテランの正しい作業手順を記録し、 自動的にマニュアルを生成するシステムを開発した。管理工学の動作研究に触発され、重要動作を電子的 に計測する手法を開発した。本システムは、この技術を利用して一連の作業から重要動作を抽出し、これ をトリガとして作業写真を撮影することによりマニュアルを自動生成する。本システムを利用して工作機 械の操作マニュアルを生成し、その有効性を確認した。 キーワード：動作研究, 作業記録, IC 加速度センサ, マルチメディア・マニュアル Operating properly manufacturing machinery requires a lot of knowledge and long experience. Operation manuals help very much novice workers to do their jobs. However it costs high to record proper operation and prepare a manual. We have developed a method of observing a worker’s motion with IC accelerometers and we have built a program that automatically generates a manual from the recorded work process. This article describes the motion observation method and the system that generates a manual with an experimental evaluation. Keywords: Motion Study, Experience Recording, IC accelerometers, Multimedia Manual １．はじめに クボックスとなっている。その為に、誰もが正しい手 １.１ 研究の背景と目的 順で操作できるように、操作マニュアルを整備するこ とが求められている。 我々が解決しようとしている技能継承問題は、旋盤 マニュアルの作成には多くの労力を必要とする。特 やマシニングセンタなどの製造装置の操作手順や保守 に、製造ラインのように種々の装置があり、また改善 点検手順の共有化である。装置の操作手順の多くは、 などで頻繁に作業手順が変更される場合、全ての装置 スイッチやレバーなどの操作や警報ランプや画面メッ に最新の正しいマニュアルを用意することは困難であ セージの確認である。これらの作業は単純であり、長 る。一方、日常的に製造装置を使っているベテラン作 い身体的訓練を通して獲得する“手先の器用さ”など 業者は正しい手順を知っているが、マニュアル作成に は必要ない [1]。一方、製造装置の多くがコンピュータ 費やす時間がない。 によって制御されているため、作業者にとってブラッ 2007 年 X 月 XX 日受付 そこで、我々は、ベテランの正しい作業手順を記録し、 2007 年 X 月 XX 日受理 日本設備管理学会誌 第 19 巻 2 号 (2007) ( 41 ) 2 図１にシステムの概要を示す。本システムは、動作 自動的にマニュアルを生成するシステムを開発した。 本システムは、日常の作業手順を記録するだけでなく、 記録とマニュアル生成の２つのサブシステムから構成 不具合が発生した際、ベテランが実行した復旧作業も されている。動作記録サブシステムでは、IC 加速度セ 記録しマニュアルとして蓄積できる。この機能を用い ンサを用いて実際の作業動作を観測する手法を開発し れば、不具合対処の経験を蓄積共有化できるので、経 た。この動作記録と、作業者の視野を記録するカメラ 験の浅い作業者の生産性向上に寄与すると考える。 と組み合わせて、作業を記録する。マニュアル生成サ ブシステムは、記録された動作と視野画像から自動的 １.２ 開発したシステムの特徴と概要 にマニュアルを生成するプログラムである。 作業を記録する最も簡便な方法は、ビデオ撮影であ このシステムを用いて、旋盤やシャーリング・マシ る。しかし、日々の作業を撮影するのに、撮影担当の ンのベテランによる操作作業を記録し、自動的に生成 人員を貼り付かせるのは、経済的に不可能である。そ されたマニュアルで、初心者の学生がこれらの装置を こで、作業者に CCD カメラを装着し、彼の視野画像 利用できるか実験した。この実験により、経験を電子 を記録することにした。単なる作業ビデオでは、時間 的に蓄積し共有化することが出来ることを確かめた。 的に冗長でありマニュアルにはならない。作業マニュ 本論文では、第二章で関連研究を紹介する。第三章で アルでは、重要な作業ステップのみを記載し簡潔な説 は、動作記録システムの仕組みを説明し、動作をトリ 明が必要である。そこで、作業者の動作から重要な作 ガにして記録した作業画像から自動的に電子マニュア 業ステップを抽出して、その場面の画像を利用してマ ルを作成するシステムを紹介する。 ニュアルを生成することにした。本システムの特徴は、 1. 作業記録用の人員が不要である。 作業者が装着したカメラとセンサで記録する。 ２．関連研究 動作測定および経験の共有化に関する関連研究を、 2. カメラで作業者の視野画像を記録する。 Vision による動作測定、動作抽出手法、経験の共有化 3. コンピュータが作業の重要なステップを判別し、 の三項目に分けてレビューする。 その箇所の画像だけを蓄積する。 Industrial Engineering (IE)[2]の動作研究 [3]では、 ２.１ Visionによる動作の測定に関する研究 重要な作業動作を基本動作と呼ぶ。装置操作で多 近年、監視カメラによる画像処理による人物の検 く見られる基本動作を決定し、加速度センサを用 出・追跡に関する研究が盛んに行われている。ここで いて基本動作を検出する手法を考案した。この基 は、検出・追跡に加え動作解析までを自動的に行う安 本動作が現れた時点の画像を蓄積する。 部らの「監視カメラによる人物の動作解析」 [4] を取り 4. マニュアル生成プログラムが、蓄積された画像を マニュアル書式に自動編集する。 上げる。監視カメラによる動作解析は特定の場所にお いて不特定多数の人物の動作解析をするために適して Wearable sensor System Basic Motion Record Pictures Manual Generator Manuals 図１ ( 42 ) 作業記録システムの概要 J.SOPE Japan, Vol. 19 No. 2 (2007) 堀・広瀬・松浦・瀧：動作をトリガにした操作マニュアル生成システム いる。しかし、保守作業においては特定の場所におい て作業し続けることは稀であるので、複数のカメラを 作業場所に設置しなければならない。我々の装着型セ ンサは、移動作業中でも確実に動作を観測できる。 ２.２ 動作抽出手法に関する研究 中田ら [5]は、行動認識の手法を提案している。その 手法は、 Step-1. 手足の動きを Motion Capture で観測する。 Step-2. 手足の動きを生物の５つの基本運動様式に ラベリング（舞紋）する Step-3. 舞紋が切り替わった時点で動作を区切り、動 作分節とする Step-4. 動作分節の並びを既知の動作と照合し、似て いる動作を判定する。 本手法は、基本動作を予め定義しなくても良い点が すぐれている。しかし、複雑な作業動作を判別するに 3 ３．作業記録システム 図１に示したように、我々のシステムは、動作記録 とマニュアル生成の２つのサブシステムから構成され ている。動作記録サブシステムでは、IC 加速度センサ を用いて実際の作業動作を観測する手法を開発した。 この動作記録と視野カメラと組み合わせて、作業を記 録する。マニュアル生成サブシステムは、記録された 動作と視野画像から自動的にマニュアルを生成するプ ログラムである。 図２はシステムのデータフローである。動作記シス テムは、時刻、検出した基本動作、画像ファイル名の タプルからなるデータ列を CSV ファイルに保存する。 また、作業者の視野を録画した画像ファイルをはき出 す。マニュアル生成ツールは、これらのファイルを読 み込み、読みやすいフォーマットに成形してマニュア ルを自動生成する。 は到っていない。さらに装置操作の場合には、基本動 作を用意した方が現実的アプローチである。 我々の手法は、手足の各関節 8 箇所にセンサをとり つけ、ウェアラブルコンピュータでセンサからの信号 を処理し、人間の動作を計測、解析するアプローチで ある。この方法では領域にしばられることはない。ま た、ウェアラブルコンピュータによりリアルタイムな 計測、解析を行うことができる。その結果、PC から 作業者へ指示を出すことも可能になる。よって、さま ざまな機器を扱い作業領域が広範囲にわたる保守作業 に適した動作解析アプローチであるといえる。 ２.３ 経験の記録、再利用に関する研究 ここでは、経験の記録から再利用に重点をおいた研 究を紹介する。大谷ら [6] は、電子工作を行う上でのポ イントと進め方のコツを Web コンテンツ化した。この 知識コンテンツを初心者が利用することで知識の共有 化を計ろうとしている。作業の記録には、固定カメラ と記録者を必要とする。作業者は何を考え、何をして いるかを発話しながら作業する。記録者は作業記録中 に作業者に質問することで作業者の発話を促す。この 結果、初心者が作業を進める上で有用なコンテンツが 出来上がるという。しかし、記録するごとに固定カメ ラを設置しなければならないこと、記録者という労力 が必要となるなどの問題がある。 図２ システムのデータフロー 図３に作業記録システムの概念を示す。作業者は、 小型カメラを頭に、加速度センサを手足に着けている。 小型カメラは、作業者の視野を記録する。加速度セン サで手足の動きを計測し、予め決められている基本動 作を観測する。 例えば、手を伸ばす動作（Reach 動作）は、指さし やスイッチ操作など重要な作業を行う場合に多く発生 する動作である。我々は、これらの重要なイベントに 伴う幾つかの基本動作を定義した。基本動作が観測さ れた時点は、重要な作業イベントが発生したと考えら れるので、その箇所の５秒間のビデオクリップを時刻 と共に蓄積する。この蓄積データを後述するマニュア ル自動生成システムによって、マニュアルの書式に編 日本設備管理学会誌 第 19 巻 2 号 (2007) ( 43 ) 4 集すると、どのような手順で作業が行われたか容易に 用いた動作記録システムについて説明する。 ADXL の主な特長は、2 軸加速度センサを単一の IC 理解できるマニュアルが完成する。 以下に基本動作とは何かを述べ、次に加速度センサに チップ上に搭載し、±2G の測定ができ、5mG の分解 よる基本動作の観測アルゴリズムを説明する。 能を持つことである。ADXL では重力加速度を測定し、 手足の向きを測定し、どのような動作がされたか計測 する。図４にスイッチなどを操作する際に現れる “Reach”動作の判定を説明する。Reach 動作前の状 態において、手首、肘に装着した ADXL の軸の向きは Ｘ軸が水平方向、Ｙ軸が重力方向となっている。これ が動作後の状態では軸の向きが 90 度変化し、Ｘ軸が 重力方向、Ｙ軸が水平方向となる。ADXL の X,Y 各軸 は軸が重力方向へ向いたとき、１G または‐１G を取 る。また、水平方向へ向いたときは 0G となる。つま り、各関節の姿勢が重力方向であるか水平方向である 図３ 動作記録システムの概念 かの判定基準は、ADXL の各軸が１,0,-1G のいずれの 値かを調べればよい。ここで手首 X、手首 Y、肘 X、 ３.１ 基本動作 肘 Y の順で並べたセンサの値を G パターンと呼ぶ。 手足の動きの連続データからでは、どのような作業 が行われているか理解することは困難である。そこで、 G パターンが 0101 から 1010 へ変化したときを Reach 動作として検出することができる。 IE の動作研究の手法を用いて、作業者の行動を抽出す る事とした。動作研究を行う際に広く用いられている のが、Therblig と呼ばれる、 「のばす」、 「つかむ」、 「位 置決め」、 「 組立」などの１８種類の基本動作である [3]。 これらの基本動作は、加工組立作業で良く観測される 重要な動作である。機械製造装置の操作に関する作業 は組立作業とは異なるので、装置操作作業の動作を記 録するに、5 個の基本動作を策定し用いた（表１参照）。 保守作業では、メーターの読み取り以外では、スイッ チの On/Off や、バルブの開閉などの動作が多い。従 って、この基本動作の中で、腕を伸ばす動作（Reach） が、最も重要なイベントである。 表1 伸ばす W (Walk) しゃがむ SI (Sit) 立ち上がる 待機 定義 R (Reach) 腕を伸ばす 移動 基本動作の計測 Reach 動作を例にして、加速度センサ・データから 検出するアルゴリズムを以下に示す。Step-1、Step-2 保守の基本動作(Therblig) Therblig シンボル 図４ 離れたところへの移動 しゃがむ RA (Raise) 立ち上がる WT (Wait) 動作ができない時間 は 全 て の 場 合 の 共 通 処 理 で あ る 。 Step-3 の Classification では基本動作毎に異なる処理をする。 Step-1. LPF (Low-Pass Filter) ：20ms でサン プリングしたデータの５個平均を取る。. Step-2. Labeling：データの値を、 “-1”, , “0”, “1” の３つの範囲に分類しラベリングする。. Step-3. Classification: ラベリング・データで値 が変化している箇所を見つける。この値の変 ３.２ 基本動作の計測 動作記録のためのセンサとして、加速度センサ 化は腕の姿勢の変化であるので、X 軸、Y 軸 の変化から Reach 動作と判定する。 （ADXL202 アナログデバイセス社）を用いた。ここ 図 5 に Step-2 の Labeling 後のデータを示す。横軸 では使用した加速度センサ（以下、ADXL）とそれを は時間[秒]、縦軸は加速度[G]である。Labeling 後のデ ( 44 ) J.SOPE Japan, Vol. 19 No. 2 (2007) 5 堀・広瀬・松浦・瀧：動作をトリガにした操作マニュアル生成システム ータを見ると、Reach 動作が判定できることが分かる。 このセンサを両手両足計 8 箇所に装着し、200ms 毎の サンプリングで計測する ADXL モーションキャプチ ャーシステムを製作した。さらに画像を記録するため に CCD カメラを取り付け、モーションキャプチャー と連携して画像を記録できるようにした。 Detected Reach Motions 1.2 ４.２ システムの評価 本システムを利用して、ボール盤、シャーリング機 の基本的な操作を説明するマニュアルを生成した。正 確な操作ができる作業者に、動作記録システムを身に つけてもらい、丁寧に通常作業を実施してもらった。 その後、動作記録データをパソコンに移し、マニュア ル生成プログラムでマニュアルを生成した。そのマニ 1 ュアルに必要に応じてコメントなどを加えた。作業時 0.8 間はおのおの３～４分である。マニュアルの自動生成 0.6 は３０秒程度でできる。コメント 0.4 分程度で完了した。従来手法では、作業者とは別に記 0.2 0 1 3 Step-1後のYデータ Step-2後のYデータ 5 7 9 11 13 15 17 19 図 5 加速度データからの Reach 動作の検出 ４．マニュアルの自動生成 録者を必要とする。記録者が作業の様子を撮影し、そ の後、Word でマニュアル原稿を作成する。その原稿 を作業者に確認してもらい完成させる。両手法のマニ ュアル作成時間の比較を表２に示す。本システムを用 いることで記録者を不要とし、作業者の負担を大きく 軽減することができるようになることがわかる。 表２ ４.１ マニュアル自動生成システム マニュアル作成時間の比較 従来手法 次にマニュアル自動生成プログラムを説明する。動 作記録システムから出力される CSV ファイル、bmp 画像ファイルから半自動的にマニュアルを作成する。 このツールは Excel VBA により作成した。 マニュアル生成の処理はシート作成、マニュアルフ ォーマット作成、画像貼り付け処理である。作業の鍵 となる基本動作が観測される毎にマニュアルページを 生成する。フォーマット作成後、日時、姿勢・動作が 追記も含めて１５ 準備 作業 マニュアル 下書き 確認 マニュアル 作成時間の 合計 ４分 30 分 WORD での作成 ３０分 修正、コメント追記 64 分 本手法 ５分 センサの装着 ４分 0.5 分 自動生成 15 分 コメント追記 24.5 分 自動的に書き込まれる。貼り付けられる画像は、作業 つぎに生成されたマニュアルの有効性を確認するた 記録ツールで記録した 500ms ごとの計５枚の bmp 画 めに、８名の大学２年生にシャーリング機でアルミ板 像である。人間は、ページ毎にタイトルや短いコメン の切断作業をさせた。全員１年前にシャーリング機の トを加えるだけでマニュアルを作ることが出来る。図 操作を体験しているが、日常的には使っていないので 6 に生成したマニュアル例を示す。 完全には操作手順を体得していない。４名はマニュア ルを見ながら作業した。他の４名はマニュアル無しで 作業した。表３に表すように、マニュアルを利用した ４名は全員作業完了したが、マニュアル無しの４名で は、１名を除いて作業を単独では完了できなかった。 表３ シャーリング作業の比較 マニュアル利用 A： 作業完了 作業時間 約 B： 作業完了 図6 生成されたマニュアルページ C： 作業完了 D： 作業完了 日本設備管理学会誌 第 19 巻 2 号 (2007) マニュアルなし E: 操 作 手 順 を 忘 れ て 作 業完了せず。 F: 操作手順を忘れ、人に 教えてもらい作業完了。 G: 操作手順を忘れ、人に 教えてもらい作業完了。 H: 作業完了 ( 45 ) 6 ５．まとめ [4] 安部満、小沢慎治: 監視カメラによる人物の動作 解析, 電気学会 C 部門大会（2001） 本研究における主な成果は次の 3 つである。 1. Nakata: Automatic Generation of Expressive Body Movement Based on Cohen-Kestenberg テムの開発：従来、数千万円と高価なモーション Life キャプチャーシステムを数十万円で実現した。動 Advanced 作研究の基本動作の概念を導入と安価な加速度 Intelligent Informatics, Vol.7 No.2, pp.124-129, センサで手足の姿勢を計測することにより、作業 (2003). 動作を計測・認識する手法を開発した。 2. [5] 速度センサによるモーションキャプチャーシス [6] like Motion Stereotypes, Computational Journal Intelligence of and 大谷尚史、藤城卓己、坂根裕、竹林洋一: ユビキ システムのウェアラブル化：市販のモーションキ タスカメラを利用した仕事中のマルチモーダル ャプチャーはカメラによる画像解析で行われる ル知識の表現と使用, 人工知能学会全国大会予 ことが多い。しかし、それでは決められた室内以 稿集(2004) 外は記録できない。我々は Wearable PC 接続の 計測場所を選ばないモーションキャプチャーシ ステムを開発した。工場やサービス現場で使用す ることができる実用的なシステムである。 3. 動作の記録とマニュアル化支援システムを開 発：従来、作業の記録には作業者とは別に記録者 を必要としていた。しかし、動作記録とマニュア ル化を支援する本研究のシステムを用いること で記録者を不要とし、作業者の負担を軽減するこ とができるようになる。 今後の課題としては、(a) 加速度センサの計測精度 を向上、(b)加速度センサのデータから自動的に基本動 作を抽出する手法、(c) 不具合対処事例蓄積・再利用 システムとしての利用と評価などがある。特に事前に 用意していない基本動作の自動発見は重要課題と考え 著者紹介 堀 聡（ほり さとし） 1982 年 3 月東京工業大学総合理工 学研究科電子システム専攻修士課 程了。同年 4 月三菱電機（株）入社、 同 社 生 産 技 術 センター 勤 務 。1988 年 PURDUE 大電気工学科修士課程 了 。 博 士 ( 工 学 )（ 東 京 工 業 大 学 ） 。 2001 年４月より ものつくり大学 製造 技能 工芸 学 科助 教授。知識 工学、 ユビキタス技術の応用研究に従事。 日本設備管理学会、人工知能学 会、電子情報通信学会、電気学会、 IEEE 各会員。 広瀬 公太（ひろせ こうた） 2005 年 3 月ものつくり大学卒業。現 在アルプス技研にて設 計業 務に従 事。 ている。例えば、フットスイッチを持つ装置があるが、 フットスイッチ操作の基本動作は表１には用意されて いない。このような新しい基本動作を動作データから 自動的に抽出する手法が必要である。我々は、データ マイニング手法が利用できると考え、研究開発を行っ ている。さらに、特徴となる基本動作がない場面をマ ニュアル化する必要がある場合は、事前に発生する基 本動作と作業についての事前知識を利用し、その作業 を記録生成することが可能と考えられる。 本研究の一部は、科研費基盤研究（C）(15500094) の補助によるものです。 参考文献 [1] 小池、中馬、太田:もの造りの技能 ---自動車産業 の現場で---, 東洋経済新報社 (2001) [2] 藤田彰久: IE の基礎, 建帛社 (1978) [3] 津村、佐久間: 作業研究, 丸善 (1978). ( 46 ) 松浦 哲也（まつうら てつや） 1971 年 3 月 芝浦工業大学卒業。 同 4 月三菱電機（株）入社、同社長 崎製作所勤務を経て、本社生産シス テム本部在籍。作業分析、工程分析 から市場・物流分析を専門に生産管 理システム・ロジスティック・システム 開発に従事。現在、メルコブレインズ （株）にて情報システム・コンサルタン ト業務を担当。 瀧 寛和（たき ひろかず） 1980 年 3 月 大阪大学基礎工学研 究科物理系専攻修了。同年，三菱 電機（株）入社。1986 年（財）新世代 コンピュータ技術開発機構に出向。 1998 年 4 月より和歌山大学システム 工学部 教授。工学博士（大阪大 学）。知識獲得，知能ロボット，知的 設計システム,Semantic Web の実用 化に関する研究に従事。 J.SOPE Japan, Vol. 19 No. 2 (2007)