Comments
Description
Transcript
調味料使用量の自動計測システムの開発および評価
社団法人 電子情報通信学会 THE INSTITUTE OF ELECTRONICS, INFORMATION AND COMMUNICATION ENGINEERS 信学技報 TECHNICAL REPORT OF IEICE. 調味料使用量の自動計測システムの開発および評価 中村 和晃† 舩冨 卓哉†† 橋本 敦史††† 上田真由美†††† 美濃 導彦†† † 大阪大学 大学院工学研究科 〒 565–0871 大阪府吹田市山田丘 2–1 †† 京都大学 学術情報メディアセンター 〒 606–8501 京都府京都市左京区吉田本町 ††† 京都大学 大学院法学研究科 〒 606–8501 京都府京都市左京区吉田本町 †††† 流通科学大学 総合政策学部 〒 651–2103 兵庫県神戸市西区学園西町 3–1 E-mail: †[email protected] あらまし 日々の調理における調味活動や健康管理を支援する目的で調味料の使用量を計測・記録することは有益と 考えられる．本研究では，調味料使用量を自動的かつリアルタイムに計測するシステムを提案する．提案システムの 構成は，一台の秤の上に全ての調味料を置き，その秤の上面をカメラで観測するというものである．カメラの映像に 基づいて各調味料に対する調理者の把持・返却行動を検出するとともに，把持・返却行動の前後で秤の計量値がどの ように変化したかを求め，その変化量から調味料の残量を推定する．これにより，各調味料の使用量が残量の変化と いう形で計測される．実験を通して，提案システムにより調味料使用量が計測できることを確かめた． キーワード 調味料，使用量計測，調理支援，ARToolKit 1. は じ め に つか）が載っている状況を想定する．この状況において，秤の 上にある調味料の残量（容器の質量を含む）の総和を以降では 健康に対する意識の高まりに伴って，多くの人々が自身の食 “残量総和” と呼ぶ．また，調味料を秤の上から別の場所に移動 生活に注意を向けつつある．食生活について考える上で，調理 させる行動を “把持” 行動，別の場所から秤の上に移動させる 時に使用する調味料の量は糖分，塩分，脂肪分等の摂取量を規 行動を “返却” 行動と呼ぶ．本研究では，調味料を最初に使用 定する主要因の一つであり，これを容易に記録・管理すること する前には必ず把持行動が生じ，最後に使用した後には必ず返 ができれば健康の維持に大きく資するものと考えられる．一方 却行動が生じるものと仮定する．多くの家庭では調味料の保管 で，日々の調理においては，好評だった過去の味付けの再現や 場所は決まっていると考えられるため，その保管場所に秤を設 一旦失敗した味付けの修正といった要求が生まれることも多い． 置するという運用方針を採用すれば，上記の仮定は十分現実的 このような要求に答える上で，過去の調理における調味料使用 と言える． 量の記録や現在の調理における調味料使用量の履歴は非常に有 以上の仮定の下，時刻 t（調理開始時から t 単位時間後）に 益と考えられる．以上のような背景を踏まえ，本研究では，調 おける残量総和を W (t)，時刻 t において秤上に存在する調味 味料の使用量を自動的かつリアルタイムに計測・記録するシス 料の集合を S(t) (⊂ S)，時刻 t における調味量 s ∈ S(t) の残 テムの開発を試みる．このようなシステムは，各調味料ごとに 量を w(s; t) とおく．このとき，自明に次式が成り立つ． 専用の秤を 1 台ずつ用意すれば容易に実現可能であるが，その ∀t > =0 場合，秤の導入コストが大きい，同種の調味料が常に同じ秤の W (t) = ∑ w(s; t) (1) s∈S(t) 上に保管されるとは限らない，といった問題もある．このため 本研究では，秤は 1 台のみ使用できるものと想定する．なお， 本稿において調味料の「量」とは質量を表すものとする． 本稿の構成は次の通りである．まず 2. 節で調味料使用量計測 の基本原理について述べ，その基本原理を実現するにあたり必 要となる処理について 3. 節で詳述する．4. 節では，提案する システムの実用性を実験により確かめる．その後，5. 節で関連 ここで，時刻 u から u+1 までの区間において調味料 si に対 する把持行動が生じ，それ以外の把持・返却行動が全く生じな かった場合を考える．このとき，S(u) = S(u+1) ∪ {si } であ り，s ∈ S(u+1) なる任意の調味料 s について区間 [u, u+1] の 前後で残量変化は生じないため，次式が成り立つ． ∀s ∈ S(u+1) w(s; u+1) = w(s; u) (2) 研究について概観し，最後に 6. 節でまとめを述べる． 式 (1)(2) より，時刻 u における残量総和と時刻 u+1 における 2. 調味料使用量計測の基本原理 以降では，各調味料を記号 s1 , s2 , · · · , sn で表し（n は種類 数），その集合を S = {si |i = 1, 2, · · · , n} と表記する． 今，1 台の秤の上に複数種類の調味料（S の要素の内のいく 残量総和の差は W (u) − W (u+1) ∑ ∑ = w(s; u) − s∈S(u) w(s; u+1) s∈S(u+1) —1— = w(si ; u) + ∑ {w(s; u) − w(s; u+1)} s∈S(u+1) = w(si ; u) (3) となり，w(si ; u) に一致することが分かる．従って，把持された 調味料 si の把持直前時刻 u における残量は次式で求められる． w(si ; u) = W (u) − W (u+1) (4) 同様に，時刻 v から v+1 までの区間において調味料 si に対 する返却行動が生じ，それ以外の把持・返却行動が全く生じな かった場合を考える．このとき，S(v +1) = S(v) ∪ {si } であ り，s ∈ S(v) なる任意の調味料 s について区間 [v, v+1] の前後 で残量変化は生じないため，次式が成り立つ． ∀s ∈ S(v) w(s; v+1) = w(s; v) 図 1 カメラによる秤上面の観測 (5) 取った秤の計量値 Ŵ (τk ) は当該時刻における残量総和 W (τk ) 式 (1)(5) より，返却された調味料 si の返却直後時刻 v+1 にお にほぼ等しいと期待される．なお，上記の取得方針の採用に ける残量は，式 (4) と同様，次式のように求められる． 伴って，あるイベントが終了してから次のイベントが終了する w(si ; v+1) = W (v+1) − W (v) (6) 却行動は全て同時に行われたものとみなすことにする． 式 (4)(6) より，区間 [u, u+1] において把持されてから区間 [v, v+1] において返却されるまでの間に使用された調味料 si の 質量は，把持直前時刻 u における残量と返却直後時刻 v +1 に おける残量の差 w(si ; u) − w(si ; v+1) = (W (u) − W (u+1)) − (W (v+1) − W (v)) までの間，すなわち区間 [τk−1 , τk ) において行われた把持・返 (7) 秤の計量値 Ŵ (t) が安定しているか否かは，δ 単位時間前ま での計量値を用いて次のように推定する． t ∑ stable if Ŵ (x) − Ŵ (x−1) < =d Ŵ (t) is x=t−δ unstable otherwise (8) ただし d は正の定数である．これは，時刻 t−δ から現時刻 t ま として求められる．上式より，秤が 1 台のみの場合でも，同時 での間における秤の計量値の変動が閾値 d 以下の場合に Ŵ (t) に把持・返却される調味料の数がただ一つのみであれば，各調 が安定しているとみなす，ということである．イベント終了時 味料 si の使用量が計測可能であることが分かる． 刻 τk は，次式が満たされる時刻として検出する． 式 (7) で表される基本原理を実現するためには，以下の 3 つ の処理が必要となる． (Ŵ (t) is stable) ∧ (Ŵ (t−1) is unstable) (9) • 残量総和の取得 • 把持・返却行動の検出 されるケースが多発すると予想されるため，何らかの対処が必 • 把持・返却された調味料の種類の特定 要となる．これについては 3. 3 節で詳述する． 次節では，これら 3 つの処理について詳述する． 3. 残量方程式の逐次連立計算による使用量計測 以上の方針の下では，複数種類の調味料が同時に把持・返却 3. 2 把持・返却行動の検出および 把持・返却された調味料の種類の特定 把持・返却行動が生じるとそれに伴って残量総和が増減する 3. 1 残量総和の取得 ため，逆に残量総和の増減を観測することで把持・返却行動を 通常，秤の計量値 Ŵ (t) は残量総和 W (t) をほぼ正しく示し 検出することも可能と考えられる．しかし，前節で述べたよう ているものと考えられるため，理論上は各時刻 t において秤の に，残量総和は任意の時刻で取得できるわけではない．また， 計量値を読み取ることで残量総和を取得できる．しかし，現実 複数の把持・返却行動が同時に生じた場合には，複数回の行動 的には，把持・返却行動の直後においては秤の計量値は安定せ に対し残量総和の増減が一回しか起こらないため，全ての把持・ ず，残量総和を正しく示さない．このため，秤による残量総和 返却行動を正しく検出することが困難となる．従って，残量総 の取得は任意の時刻 t において可能とはならない．この点を踏 和の増減に基づく把持・返却行動の検出は不完全な方法と言え まえ，本研究では次の方針で残量総和を取得する． る．そこで本研究では，調味料が載せられている秤の上面を見 まず，秤の計量値が安定している状態から把持・返却行動に 下ろす形でカメラを設置し（図 1 参照），このカメラにより観 伴って大きく変化し，その後再び安定するまでの一連の流れを 測される映像を用いて把持・返却行動の検出および把持・返却 “イベント” と定義する．秤の計量値は，各イベントの終了時刻 された調味料の種類の特定を実現する． においてのみ読み取るようにする．調理開始時から数えて k 回 図 1 のように設置されたカメラの映像には，秤上に存在する 目のイベントの終了時刻を τk とすると，時刻 τk において読み 調味料の容器の上面が映る．従って，各調味料の容器上面にそ —2— の種類を示すようなマーカ（図 2 参照）を予め貼付しておけば， 各マーカの有無に応じて各調味料が秤上に存在するか否かを 判定することができる．調味料の把持行動はこれまで映像上に 映っていたマーカが消失したことを以て，調味料の返却行動は これまで映像上に映っていなかったマーカが出現したことを以 て，それぞれ検出できる．上述の処理は，各マーカ（調味料） ごとに独立に実行できるため，複数の把持・返却行動が同時に 行われた場合にも対処可能である．また，把持・返却された調 味料の種類も，消失・出現したマーカの種類を確認することで 図2 容器上面にマーカを貼付した調味料とマーカパターンの例 同時に特定できる．以下，処理の詳細を述べる． 時刻 t において調味料 s が秤上に存在しているか否かを示す 変数 onScale(s; t) を次のように定義する { onScale(s; t) = ． ものと仮定する．調理時以外に調味料が使用されることは稀で 1 if s is on the scale at time t 0 otherwise (10) 存在しないときに 0 を値としてとる．onScale(s; t) により，区 間 [τk−1 , τk ) において把持された調味料の集合 S u (k) および返 却された調味料の集合 S b (k) は次式のように求められる． S u (k) = {s|onScale(s; t) = 0, 用方針を採用すれば，この仮定は十分現実的と言える． 以上の処理を実現するにあたり，本研究では，ARToolKit [1] を用いて detected(s; t) を求める．ARToolKit で用いられる標 準的なマーカをベースとして作成したマーカパターンと，これ を実際に各調味料の容器上面に貼付した例を図 2 に示す． 3. 3 複数の把持・返却の同時実行を考慮した使用量計測 onScale(s; t−1) = 1, τk−1 < = t < τk } (11) 3. 1 節で述べた通り，現実的な調味料使用量計測システムを 実現するためには，単一のイベント中に把持・返却行動が複数 S (k) = {s|onScale(s; t) = 1, b onScale(s; t−1) = 0, τk−1 < = t < τk } (12) ここで，時刻 t において調味料 s に対応するマーカ m(s) が検出 されたか否かを示す変数 detected(s; t) を次のように導入する． detected(s; t) = あるため，調理終了時点における onScale(s; t) を記録してお き，これを次回の調理時に onScale(s; 0) として用いるという運 onScale(s; t) は，時刻 t において s が秤上に存在するときに 1， { ただし，t < θ においては onScale(s; t) = onScale(s; 0) とし， onScale(s; 0) はシステムの実行開始時点で予め与えられている （注 1） 回行われる場合に対処する必要がある．このため本節では，2. 節で示した基本原理を以下に述べるように拡張する． 3. 1 節で述べた方針に従って，残量総和（秤の計量値）は各 イベントの終了時刻 τk においてのみ取得するものとする．こ れにより，式 (1) は次のように書き換えられる． 1 if m(s) is detected at time t 0 otherwise (13) ∀k > =1 Ŵ (τk ) = ∑ w(s; τk ) (15) s∈S(τk ) detected(s; t) は，時刻 t においてマーカ m(s) が検出されたとき に 1，検出されなかったときに 0 を値としてとる．detected(s; t) を用いて onScale(s; t) を推定することができれば，式 (11) お よび式 (12) に基づいて把持・返却行動が検出でき，把持・返却 された調味料の種類も特定できることになる． 上式において，S(τk ) は，前イベントの終了時刻 τk−1 における S(τk−1 ) と式 (11)(12) により求まる S u (k), S b (k) を用いて次 のよう求められる（ただし τ0 = 0 とする）（注 2）． { } S(τk ) = S(τk−1 ) ∩ S u (k) ∪ S b (k) (16) マーカは調理者の手による遮蔽などが原因で検出できな い場合がある．また，照明条件や間接光の変化に伴って一時 S u (k) ⊂ S(τk−1 ) および S b (k) ∩ S(τk−1 ) = ϕ であることに留 的にマーカの誤検出が生じる場合もある．このため，単純に 意すると，上式は次のように書き換えることもできる． onScale(s; t) = detected(s; t) として onScale(s; t) を推定する 方法では把持・返却行動を必ずしも正確に検出できない．そ こで本研究では，θ 単位時間前までの情報を考慮した次の式で onScale(s; t) を推定する． 1 onScale(s; t) = if S u (k) = S(τk ) ∩ S(τk−1 ) (17) S (k) = S(τk ) ∩ S(τk−1 ) (18) b ここで，区間 [τk−1 , τk ) において把持・返却されることなく常 t ∑ に秤上に存在していた調味料については，その残量に変化が生 detected(s; x) = θ+1 x=t−θ t ∑ 0 if detected(s; x) = 0 x=t−θ onScale(s; t−1) otherwise じないことから，次式が成り立つ． (14) u ∀k > = 1, ∀s ∈ S(τk−1 ) ∩ S (k) w(s; τk ) = w(s; τk−1 ) (19) 式 (15)(17)(18)(19) より，式 (4) および式 (6) に示した等式は 次式のように一般化される． （注 1） ：実際には秤とカメラは時間同期されていないため，3. 1 節の t と 3. 2 節 の t は厳密には別物となるが，説明の便宜上，ここでは同一の変数として扱う． （注 2） ：任意の調味料集合 Q (⊂ S) に対し Q は Q ≡ S \ Q と定義される． —3— ∑ Ŵ (τk ) − Ŵ (τk−1 ) = s∈S(τk ) ∑ = ∑ w(s; τk ) − w(s; τk ) − s∈S b (k) w(s; τk−1 ) s∈S(τk−1 ) ∑ w(s; τk−1 ) (20) s∈S u (k) 調味料の残量に関する方程式 (19) および (20) を以下では単に “残量方程式” と呼ぶ． 一つ一つの残量方程式には一般に未知変数 w(s; τk ) が複数含 まれるため各々がそれ単体で解けるとは限らないが，複数の残 量方程式を連立させればより多くの w(s; τk ) についてその値を 確定させることが可能となる．本研究では，この性質を利用し た次の逐次計算により，単一イベント中に複数の把持・返却行 図 3 実験装置の外観 動が行われる場合に対処する． Step 1: 初期化 しかし，これら 2 つの方程式は線形独立ではないため，これら まず，時刻 τ0 (= 0) において秤の計量値 Ŵ (τ0 ) を取得すると だけで w(si ; τk ) および w(sj ; τk ) の値を確定させることはでき ともに，所与の onScale(s; 0) から S(τ0 ) = {s|onScale(s; 0) = ない．一方で，通常，区間 [τk , τk+1 ) において把持された si , sj 1} として S(τ0 ) を求める．また，残量方程式の集合 E を E = ϕ は時刻 τk+1 以後に使用されてから返却されるため，w(si ; τk ) お として，変数 k を k = 1 として，それぞれ初期化する． よび w(sj ; τk ) を変数として含む残量方程式がこれ以上追加さ Step 2: 残量方程式の追加 れることはない．従って，この場合，w(si ; τk ) および w(sj ; τk ) 式 (9) に基づいて k 回目のイベントの終了時刻 τk を求め， の値は決して確定しないことになる．このような，決して値が Ŵ (τk ) を取得する．また，式 (11)(12)(16) に従って S u (k), 確定しない調味料残量のことを本稿では “unsolvable weight” S b (k), S(τk ) を求める．以上により得られた情報を用いて残量 と呼ぶことにする． 方程式 (19)(20) を導出し，E に追加する． 調理開始時の調味料残量が unsolvable weight になると，そ Step 3: 残量方程式の連立計算および除去 の後の残量をいくら測定しても最終的な使用量は計測できなく E 内に存在する全ての残量方程式を連立させてこれらを解 なる．このため，unsolvable weight が生じた場合には受動的な き，未知変数となっている残量 w(s; τk ) の値を可能な限り多く 計測処理ではなく調理者への能動的な働きかけという形で何ら の s, k について確定させる．この連立計算により値が確定した かの対処を行うことが必要である．例えば，残量が unsolvable w(s; τk ) は定数に置き換えるとともに，全ての未知変数につい weight となった調味料をその使用前に一つずつ返却するよう調 て値が確定した残量方程式を E から取り除く． 理者に指示を与える，などの対処法が考えられるが，その詳細 Step 4: 反復 については本研究の範囲では取り扱わず今後の課題とする． k ← k+1 として Step 2 に戻る． 4. 実験・評価 以上の処理により各時刻 τk における w(s; τk ) の値が確定す れば，調味料 s の使用量は，把持直前時刻 τu における残量と 4. 1 実 験 環 境 提案する調味料使用量計測システムの実用性を評価するため， 返却直後時刻 τv の残量における差として次式で求められる． 実際のキッチンに提案システムを導入し，実調理時における w(s, τu ) − w(s, τv ) 調味料の残量変化を測定する実験を行った．本実験では，残量 (21) 総和を取得するための秤として島津製作所製電子天秤 Amidia 3. 4 残量が計測不能となる場合への対処 TX4202N [2] を使用した．この秤は，最大秤量 4200g，分解能 前 節 の 計 測 ア ル ゴ リ ズ ム に は ，時 刻 τk の 時 点 で 任 意 の 0.01g であり，RS232C シリアル通信により毎秒約 9 サンプル s ∈ S(τk ) について w(s; τk ) が求まるとは限らないが，時 のレートで Ŵ (t) を出力することができる．また，この電子天 刻 τk+1 以降の残量方程式を利用することで未確定であった 秤には計量値が安定しているか否かを付加情報として出力する w(s; τk ) が後に求まる可能性がある，という長所がある．しか 機能があるため，今回は式 (8) の代わりにこの付加情報を用い し，把持・返却の仕方によっては，時刻 τk+1 以降にどのような て Ŵ (t) の安定性を評価した（注 3）．一方，把持・返却行動を検出 残量方程式が得られたとしても w(s; τk ) の値が決して確定しな するためのカメラとしては Logicool HD Webcam C510 を用 い場合が起こり得る．例えば，区間 [τk−1 , τk ) において調味料 いた．映像の解像度は 640×480 pixels，フレームレートは 15 si , sj が同時に返却され，その後区間 [τk , τk+1 ) において同時に fps とした．把持・返却行動の検出に関わる式 (14) のパラメー 把持された場合を考える．このとき，w(si ; τk ) および w(sj ; τk ) タは試験的に θ = 19（約 1.3 秒）とした．これらの機器からな に関する残量方程式としては次の 2 つが得られる． る実験装置の外観を図 3 に示す． w(si ; τk ) + w(sj ; τk ) = Ŵ (τk ) − Ŵ (τk−1 ) (22) −w(si ; τk ) − w(sj ; τk ) = Ŵ (τk+1 ) − Ŵ (τk ) (23) 本実験では，調味料としてしょう油，コショウ，ラー油，オ （注 3） ：δ = 13, d = 0.06g の時，式 (8) の値は秤の付加情報にほぼ一致した． —4— 表 1 提案システムにより調味料使用量が正しく計測されたケースの一例（単位： g） k 把持・返却行動 0 1 2 3 残量総和 コショウ トウバンジャン テンメンジャン （調理開始） 0.00 - - - - - コショウ返却 104.08 104.08 - - - - 554.17 104.08 unknown (wd ) unknown (wt ) - - wd + wt = 450.09 942.88 104.08 unknown (wd ) unknown (wt ) unknown (wc ) unknown (wo ) wc + wo = 388.71 トウバンジャン返却 テンメンジャン返却 ラー油返却 オイスターソース返却 ラー油 オイスターソース 備考 4 トウバンジャン把持 726.54 104.08 - wt =233.75 unknown (wc ) unknown (wo ) wd =216.34 5 トウバンジャン返却 936.47 104.08 213.21 233.75 unknown (wc ) unknown (wo ) トウバンジャン 3.13g 使用 6 トウバンジャン把持 726.53 104.08 - 233.75 unknown (wc ) unknown (wo ) 7 トウバンジャン返却 936.47 104.08 209.94 233.75 unknown (wc ) unknown (wo ) 8 オイスターソース把持 786.31 104.08 209.94 233.75 wc =238.55 - 9 オイスターソース返却 932.54 104.08 209.94 233.75 238.55 146.23 618.46 - - 233.75 238.55 146.23 10 コショウ把持 トウバンジャン把持 トウバンジャン 3.28g 使用 wo =150.16 オイスターソース 3.93g 使用 11 トウバンジャン返却 828.42 - 209.96 233.75 238.55 146.23 （計量誤差 −0.02g） 12 コショウ返却 930.72 102.30 209.96 233.75 238.55 146.23 コショウ 1.78g 使用 イスターソース，片栗粉，トウバンジャン，テンメンジャンの 表 2 単一の把持・返却行動からなるイベントの継続時間（単位：秒） 平均継続時間 ± 標準偏差 最小継続時間 最大継続時間 7 種類を用意し，これらを用いて同一の調理者に 1 日 1 回，計 7 回の調理を行ってもらった．これら 7 種類の調味料の容器上 面に貼付したマーカは図 2 に示した通りである．なお，本実験 把持 2.72 ± 0.51 1.76 3.96 返却 3.15 ± 0.89 1.76 6.05 では，秤の上に何も調味料が載っていない状態で調理を開始す るとともに，各回の調理に必要と思われる調味料を調理開始直 ら，上述の問題は，θ の値として適切なものを実験的に調査し 後に秤上に返却するよう，調理者に指示を与えた． 設定するだけでなく，秤の計量値など別の情報も併用して解決 4. 2 調味料使用量の計測結果およびその考察 する必要がある．例えば，調味料容器上面のマーカが θ フレー 7 回の実調理のうち 5 回において，各調味料の使用量が提案 ム以上継続して検出されなかった場合でも，秤の計量値が継続 システムにより正しく計測された．正しく計測されたケースに 的に安定していたのであれば，当該マーカは単に遮蔽されてい おける計測過程の一例を表 1 に示す．この事例では，2 回目お ただけであると判定する，などの方法が考えられる． よび 3 回目のイベントの際に複数の調味料が同時に返却されて なお，本実験においては unsolvable weight は発生しなかった． おり，個々の調味料の残量が即座に確定しない状態となってい 4. 3 θ の最適値に関する考察 るが，4 回目および 8 回目のイベントの際にトウバンジャンお 上述のように，θ の値を大きくすればするほど把持・返却行 よびオイスターソースが単独で把持されたことにより，それま 動の検出精度は向上する一方，実際の行動開始時刻に対する検 で未確定であった残量が確定していることが分かる．11 回目の 出時刻の遅れも大きくなる．提案システムでは，3. 1 節で述べ イベントは，直前のイベントで把持されたトウバンジャンが全 たように，区間 [τk−1 , τk ) において行われた把持・返却行動は全 く使用されず返却されたものであるが，この際，把持前と返却 て同時に行われたものとみなされる．このため，把持・返却行 後で −0.02g の残量変化が起きている．これは本実験で用いた 動の検出時刻がイベント終了時刻 τk 以上にならない限り，上 電子天秤の計量誤差によるものである． 記の「遅れ」は問題とはならない．この事実に加え，把持・返 失敗した 2 回のうち 1 回においては，調理者がトウバンジャ 却行動の実際の開始時刻は一般にイベントの開始時刻に一致す ンを把持した際に他の調味料の容器に貼付されたマーカが調理 ると考えられることから，θ の値は， 「遅れ」がイベントの継続 者の腕で遮蔽され，かつ，その遮蔽時間が 21 フレーム（約 1.4 時間より短くなるように設定すれば良い．自明なこととして， 秒）に渡ったため，他の調味料も同時に把持されたものと誤判 イベントの継続時間は，同一イベントの中で行われた把持・返 定された．また，残る 1 回においては，調理者の移動に伴って 却行動の数が多いほど長くなる．以上を踏まえ，単一の把持・ 間接光の状態が一時的に変化した結果 23 フレーム（約 1.5 秒） 返却行動からなるイベントの継続時間を先述の実調理 7 回分の に渡りコショウ容器上面のマーカ検出に失敗したため，コショ データに基づいて調査した．この結果は表 2 の通りである． ウが把持された直後再度返却されたものと誤判定された．この 表 2 に示した通り，イベント継続時間の最小値は把持行動・ ような誤判定の問題は θ の値を大きくすれば回避される可能性 返却行動ともに 1.76 秒となった．本実験のように，カメラのフ は高まるが，一方で，θ の値を大きくすればするほど把持・返 却行動が実際の行動開始時刻よりも遅れて検出されることにな レームレートを 15 fps に設定する場合，θ < = ⌊1.76 × 15⌋ = 26 であれば，把持・返却行動の検出に関する「遅れ」は問題とは るため，実際には区間 [τk−1 , τk ) において行われたはずの把持・ ならないことになる． 返却行動が時刻 τk 以後に検出され，これが原因で調味料使用 これに対し，図 4 は，提案システムにより検出された把持・返 量の計測値が不正確なものとなる可能性も高まる．このことか 却行動が実際に行われたものであった割合（適合率）を複数の —5— た一方，調理終了時に各調味料を秤から降ろすかどうかについ ては指示を与えなかったため，全体的に返却行動の発生回数が 把持行動の発生回数よりも多くなっている．また，Nu + Nb > =3 であるようなイベントはほとんど発生していないが，これは， 調理者が手一本あたり二つ以上の調味料を持つケースがあまり 起こらないためであると考えられる． 5. 関 連 研 究 図4 表3 把持・返却行動検出の適合率 医療現場や介護現場での応用を目的に食物摂取量を計測・記録 Nu 回の把持行動と Nb 回の返却行動からなるイベントの発生率 これらの研究では，調味料のような素材ではなく既に完成した 返却行動回数 Nb 0 0 把持行動回数 Nu 2 3 4 - 51.5% 10.6% 1.5% 3.0% 1 27.3% 2 1 4.5% するシステムの開発を試みた研究は複数報告されている [3], [4]． 1.5% 0% 0% 0% 0% 0% 0% 0% 調理品を計測対象としている点で本研究と異なる．具体的には， 患者や被介護者が調理品をどの程度摂取したかを食事画像に占 める調理品領域の面積や調理品の質量に基づいて推定・計測し ている．しかし，計測対象としている調理品の品目や使用され ている食材等の種類は介護者等が人手で入力する必要があり， θ について調べグラフ表示したものである．図 4 より，θ > = 22 であればほぼ正確に把持・返却行動を検出できることが分かる． その負担の大きさから一般家庭への導入は容易ではない． 一方，Chen らは，調理中に使用される処理前の食材に焦点 表 2 および図 4 の結果は限られたデータから導かれたもので を当て，各食材に含まれるカロリーの量を様々なセンサの情報 あるため，信頼性ある結論を導くためには更なる検証が必要で から計測するシステムを提案している [5]．この研究は，完成し あるが，一つの目安として，θ は θ = 25 前後（約 1.6 秒）が適 た調理品ではなくその素材となるものを計測対象としている点 切であると考えられる． で本研究と類似しているが，カロリー計算に必要となる食材の 4. 4 unsolvable weight への対処の重要性 種類の情報はやはり人手を介して入力する必要がある． unsolvable weight は，残量 w(s; τk ) が未知である調味料 s これらのシステムと異なり，本研究で提案する調味料使用量 が秤上に複数存在しない限り発生しない．w(s; τk ) が未知とな 計測システムでは，調味料の種類もマーカを導入することで自 るのは，時刻 τk 以前に s を含む複数の調味料が同時に把持・返 動的に特定することが可能である． 却されていた場合に限られる．従って，複数の把持・返却行動 を含むようなイベントの発生が稀であれば，unsolvable weight の発生も稀ということになり，これへの対処の重要性は下がる． 6. む す び 本研究では，秤による残量総和の計測とカメラによる把持・ 以上のことから，unsolvable weight への対処の重要性を検討 返却行動の観測に基づいて調味料使用量を自動的かつリアルタ する目的で，本実験において観測された各イベントに何回の把 イムに計測するシステムを試作し，その実用性を実調理実験を 持・返却行動が含まれていたかを調査した．表 3 は，把持行動 通して評価した．実調理実験の結果，現行の試作システムでは， Nu 回および返却行動 Nb 回を含むようなイベントがそれぞれ 調味料容器上面に貼付したマーカの検出漏れにより把持・返却 何回発生したかを各 Nu , Nb について求め，その回数を観測さ 行動の検出に失敗し，その結果，使用量を正しく計測できない れたイベントの総数で割ることにより，その発生割合を求めた 場合があることが分かった．今後は，カメラの映像に加え秤の ものである．なお，Nu > = 3 または Nb > = 5 であるようなイベ ントは本実験の範囲では観測されなかった． 計量値の情報も併用することでより高精度に把持・返却行動 表 3 の結果では，単一の把持・返却行動からなるイベント の割合は全体の 78.8(= 51.5 + 27.3)%にとどまっており，残る 21.2%のイベントは複数の把持・返却行動からなるイベントと なっている．今回の観測データにおいては，調理 1 回につき平 均で約 9.4 回のイベントが発生しており，このうちの 21.2%， すなわち約 2 回が複数の把持・返却行動からなるイベントと いうことになる．これは無視できる頻度とは言い難い．実際に は，本実験の範囲では unsolvable weight は発生していないた め，上記の調査のみに基づいて結論を述べることはやや早計で あるが，やはり，unsolvable weight に対しては何らかの対処が 必要であると考えられる． なお，本実験では，4. 1 節で述べた通り，秤上に何も調味料が 載っていない状態から調理を開始するよう調理者に指示を与え を検出する手法の実現を試みる予定である．また，unsolvable weight への対処も今後の課題の一つである． 謝辞 本研究は JSPS 科研費 24700089 の助成による． 文 献 [1] ARToolKit. http://www.hitl.washington.edu/artoolkit/ [2] Amidia TX-N シリーズ．島津製作所，http://www.an. shimadzu.co.jp/balance/products/p01/tx.htm [3] Y. Saeki and F. Takeda. “Proposal of Food Intake Measuring System in Medical Use and Its Discussion of Practical Capability,” Proc. of 9th Int’l Conf. on KES, 2005. [4] 後藤拓也，藤波努，西本一志．“認知症高齢者介護のための食事 摂取量計測および記録システムの開発，” 第 4 回知識創造支援 システムシンポジウム報告書, pp.43-48, 2007. [5] Jen-Hao Chen, Peggy Pei-Yu Chi, Hao-Hua Chu, Cheryl Chia-Hui Chen, and Polly Huang. “A Smart Kitchen for Nutrition-Aware Cooking,” Pervasive Computing, OctoberDecember 2010, Vol.9, No.4, pp.58-65, 2010. —6—