1. - 三宅研究室

2012/6/5
コミュニケーション科学と
ヒューマンインタフェース
共創コミュニケーションと「間(ま)」
■ 共創コミュニケーションは，主観的時間と空間のインターパーソナルな
共有とそれに基づくコーディネーションによって特徴づけられる
■ 特に，「間」との関係から主観的時間の共有（主観的同時性）の問題を
取り上げ，それに基づく協調機構を明らかにする
■ さらに，その仕組みをヒューマンインタフェース等に活用する
Bの主観的時間
Aの主観的時間
東京工業大学
知能システム科学専攻
yb
ya
Timeb
Timea
xb
xa
三宅研究室
[email protected]
http://www.myk.dis.titech.ac.jp
意識されるプロセス（認知）
Explicit process
二重性（相補性）
Human-A
M
Human-B
意識下のプロセス（身体）
Implicit process
1
共創システムと内的視点
2
Members of Miyake Lab.
■ システムを捉える２つの視点：観察者の視点（外的視点）と当事者の視点（内的視点）
三宅研２０１１年度メンバー
■ 共創システムでは当事者の視点としてシステムをその内側から捉える
教授
三宅 美博 (Yoshihiro MIYAKE)
■ 多様な主観的領域が共存するシステムにおけるコミュニケーションの問題になる
事務補佐員
冨永 弓子 (Yumiko TOMINAGA)
林 千枝 (Chie HAYASHI)
yB
dXB/dt=F(XB) 主観的ダイナミクス
xB
timeB
ΣSB主観的時空間
フルブライト奨学生
Michael HOVE (コーネル大・米国)
B
U?
yA
?
dXA/dt=F(XA) 主観的ダイナミクス
xA
timeA
ΣSA主観的時空間
■ どうして選手は相互に協調することができるのであろうか？
Ｍ２
猪狩 大輔 (Daisuke IKARI)
大石 拓哉 (Takuya OOISHI）
鴨井 一人 (Kazuto KAMOI・制御)
Ｍ１
太田 玲央 (Reo OHTA)
小野 永輔 (Eisuke ONO)
西 惇宏 (Atsuhiro NISHI)
肥後 直樹 (Naoki HIGO・制御)
Ｂ４
伊藤 将 (Shoh ITO・制御)
Contact Address:
Prof. Dr. Yoshihiro MIYAKE
Dept. of Computational Intelligence and Systems Science
Tokyo Institute of Technology
E-mail: [email protected] URL: http://www.myk.dis.titech.ac.jp
Ｄ４
吉田 誠 (Makoto YOSHIDA・インテル）
大良 宏樹 (Hiroki OHRA)
C
A
研究補佐員
野澤 孝之 (Takayuki NOZAWA・東北大)
緒方 大樹 (Taiki OGATA・東大)
武藤 ゆみ子 (Yumiko MUTO・東工大)
Ｄ１
青田 桂士 (Yoshito AOTA・横国大)
?
X?
3
Ｄ３
近藤 崇之 (Takayuki KONDOH・日産)
奥村 圭司 (Keiji OKUMURA・物性物理)
杉山 友規 (Tomoki SUGIYAMA・物性物理)
Ｄ２
内富 寛隆 (Hirotaka UCHITOMI）
本橋 正成 (Masanari MOTOHASHI)
4
1
2012/6/5
1. コミュニケーションの認知科学
共創的同時性（時間知覚の生成と共有）
■ 主観的時間（「間」）の生成と共有のメカニズム
■ 共創システムを特徴づける主観的領域において，その時間的側面である「間（ま）」
に限定して，その生成と共有（コーディネーション）の問題に取り組む
意識下における時間知覚
の生成を担うプロセス
■ 主観的時間としての「間（ま）」がインターパーソナルに共有され，共創的同時性
（「間」が合うこと）が生成するメカニズムについて研究する
「間(ま)」が合うこと
Right
Cerebellum
now
Human-A
Right
now
now
now
now
now
Left
time
共創的同時性
(Coordination from inside)
意識化される時間知覚
の生成を担うプロセス
Prefrontal Cortex
(Brodmann 10)
Human-B
now
now
Takano, K & Miyake, Y. (in preparation)
now now now
now
now now
時間知覚の共有機構の分析
■ 同期タッピング課題
■ 協調タッピング課題
Stimulus Onset
rhythmic auditory
stimulus
主観的時間
客観的時間
6
Miyake, Y., "Co-creation systems: Ma and communication," In E Pöppel, S Han (Ed.), Culture and Neural
Frames of Cognition and Communication, pp.139-152, Springer-Verlag, Heidelberg (2011)
時間知覚の生成機構の分析
一定のリズム音に同期させてタップ運動することで主観的同時性（「間」）の生成機構を調べる
客観的時間
物理的同時性
(Coordination from outside)
time
5
主観的時間
主観的同時性（「間」）がインターパーソナルに共有される仕組みを分析するために，２人の
タップ運動がリズム音を交換しながら同調する協調タッピング課題を用いる
Stimulus Onset
Subject B
Subject A
ISI

Tap Onset

ISI: Inter Stimulus-onset Interval
SE: Synchronization Error
ITI: Inter Tap-onset Interval
tap!
tap!
SE(n)
Data Frequency
Subjective Time (主観的時間「間(ま)」)
Tap onset
tap!
SE(n+1)
ITI(n)
3 030
25
auditory stimulus
auditory stimulus
Tap Onset
Subject
A
Subject
B
Objective Time (客観的時間)
SE
Tone onset
Sub-conscious Region
2 020
ITI ( n)  C1  k  SE ( n)
15
1 010
Mutual‐entrainment Dynamics
Implicit Time (Embodied Process)
ISI=900ms
5
0 0-0.6 -0.5
-0.4 -0.3
-0.2
-0.1
0
0.1
- 0 . 6 - 0 . 5 - 0 . 4 - 0 . 3Synchronization
- 0 . 2 - 0 . 1Error [sec]
0
0.1
0.2
0.2
0.3
0.3
7
Conscious Region n
ITI ( n)  ITI 0  h   SE ( j )
j 1
Memory-related Dynamics
Explicit Time (Cognitive Process)
Kon, H. & Miyake, Y., "An analysis and modeling of mutual synchronization process in cooperative tapping,”
Transaction of Japanese Human Interface Society, Vol.7, No.4, pp.61-70 (2005)
8
2
2012/6/5
2. 歩行アシストロボット
歩行リハビリへの応用 “Walk-Mate”
■ 協調歩行における共創的同時性
■ 「間」を合わせてくれる歩行アシストロボット
誰かと並んで歩くとき自然と歩調がそろうこと（「間」が合うこと）は身近な経験であるが，そのような
共創的同時性を人間と歩行ロボット（仮想ロボット）の間に構成し歩行リハビリに応用する
人間
http://www.honda.co.jp/ASIMO/assist/rhythm/index.html
9
安原謙, 三宅美博, "歩行補助装置の制御システム," PCT国際出願PCT/JP2003/09918, 公開WO2004-017890 (2003)
安原謙, 三宅美博, "歩行補助装置の制御システム," 特願2002-240699, 公開2004-73649 (2002)
歩行リハビリへの応用 “Walk-Mate”
θm
∆θd
Module-2
Phase control
ωm
■ 相互適応・大域的安定性・一体感・持続性
人間側とロボット側のリズムが相互に適応し同調する．その結果として歩行リズムのグローバルな
安定化が実現される．そのような状態は人間側に主観的な一体感を感じさせる
一体感
持続性
大域的安定性
Sense of Togetherness Global Stability
Sustainability
1.5
認知的プロセス
∆θm
身体的プロセス
Module-1
Mutual-entrainment
θh
m   m  K m sin( m )
Miyake, Y., "Interpersonal synchronization of body motion and the Walk-Mate
walking support robot," IEEE Transactions on Robotics, 25-3, 638-644 (2009)
三宅美博, "非線形制御器および非線形制御方法," PCT国際出願PCT/JP2005/001429 (2005) 三宅美博, "歩行介助装置," PCT国際出願PCT/JP2005/018730 (2005) 三宅美博, "非線形制御器および非線形制御方法," 特願2004‐034174, 公開2005‐227909 (2004) 11
三宅美博, "歩行介助システム," 特願2004‐293136, 公開2006‐102156 (2004) Human
Robot
1.4
歩行周期[秒]
身体モデル
相互引き込み
（周期同調）
10
「間」を合わせる歩行リハビリ
 m   sin( m   d )
内部モデル
関係の制御
（位相差制御）
歩行ロボット
Th=1.24
Fh=0.040
1.3
不安定
1.2
Th=1.20
Th=1.16
Fh=0.024
安定
1.1
Tm=1.16
Tm=1.12
1
Tm=1.00
0.9
相互適応
Mutual Adaptation
単独歩行
independent
0.8
0
単独歩行
independent
Walk-Mate歩行
interaction
60
時間 [秒]
120
180
12
3
2012/6/5
3. コミュニケーション・ロボット
対話における「間」の分析
■ 対話における発話と身振りのタイミング
対話における「間」の共創機構を調べるために人間同士の対話において，発話と身振りの
タイミングを分析している．その結果，発話長と交替潜時，頷き，把持に相関が確認された
指示発話
応答発話
頷き
頷きの先行時間長(被指示者)(Np)
交替潜時長(Pd）
発話長(指示者)(Sdi)
13
三菱重工（株）との共同研究
掴みの遅延時間長(被指示者)(Gp)
把持
交替潜時長(Pd）
交替潜時長(Pd）
Yamamoto, T., Kobayashi, Y., Muto, Y., Takano, K., Miyake, Y., "Hierarchical timing structure of utterance in human dialogue,"
Proc. of IEEE Int. Conf. on Systems, Man and Cybernetics (SMC2008), Singapore, Singapore, pp.810-813 (2008)
14
対話コミュニケーション支援
対話における「間」の制御
■ 指示応答対話における「間」と印象
■ ヒューマンロボットインタラクションへの応用
人間とアバタの指示応答対話において，指示発話と応答発話のあいだの交替潜時長を操作する
ことで，アバタとの対話の印象が変化することが示された．
900ms
発話と交替潜時の同調が対話の印象に影響することが示され
た．若年者より高齢者において強く影響が現れる傾向がある．
タイミングの制御モデルの有無で有意差 P<0.01
高齢者
5
交替潜時[ms]
4
300
600
900
1200
1500
1800
3
2
1
友
好
的
な
話
し
や
す
い
Fast
Human
Avatar
感
じ
の
よ
い
親
し
み
や
す
い
肯
定
的
な
落
ち
着
い
た
誠
実
な
信
頼
で
き
る
時間感覚
5
丁
寧
な
1800ms
空間感覚
短130ms
Near
中200ms
4
それとってください
“Could you give it to me?”
親
切
な
短130ms
中200ms
長270ms
長270ms
はい
“Yes”
3
2
Slow
2
Far
1
300
Time
対話の印象評価
5
4
3
交替潜時
Switching Pause
対話の印象評価
若年者
600
900
1200 1500 1800
Switching Pause [ms]
1
300
600
900
1200 1500 1800
Switching Pause [ms]
15
武藤ゆみ子, 高野弘二, 大良宏樹, 小林洋平, 山本知仁, 三宅美博, "音声対話インタフェースにおける発話タイミング制御とその評価,"
ヒューマンインタフェースシンポジウム2007講演会予稿集, pp.639-642 (2007)
髙杉將司, 山本知仁, 武藤ゆみ子, 阿部浩幸, 三宅美博, "コミュニケーションロボットとの対話を用いた
発話と身振りのタイミング機構の分析," 計測自動制御学会論文集, vol.45, no.4, pp.215-223 (2009)
髙杉將司, 吉田祥平, 沖津健吾,横山正典,山本知仁,三宅美博, "コミュニケーションロボットとの
対話における交替潜時長と頷き先行時間長の影響評価," 計測自動制御学会論文集, vol.46, no.1,
pp.72-81 (2010)
16
4
2012/6/5
4. 社会的コミュニケーション
社会的コミュニケーションにおける「間」
■ センサネットワークによる社会的な「間」の計測
名札に実装された加速度センサで個人の活動状態の計測を行い，ＩＲセンサで個人の対面状態
を計測する．組織における社会的コミュニケーションの「間」の計測方法を開発している
個人の活動パターンの計測
■ 対面状態にある個人のあいだでの身体運動
の同調傾向（エントレインメント）
観察された振動数
の差の分布
対面状態において個人間の身体運動リズムの振動数
が相互に接近することが示された．社会的コミュニケー
ションにおいて「間」が合っている可能性がある．
加速度センサ
活動状態の検出
対面状態における身体運動の
振動数の差の分布
活動度（振動数）の
時系列データ
観察された振動数
の差の分布
P x     a

ランダム化された
振動数の差の分布
社会的ネットワークの計測
ＩＲセンサ
ランダム化された
振動数の差の分布
対面状態の検出
対面時間長の
マトリクスデータ
17
 
G  f ij
ビジネス顕微鏡（日立製作所）
Yano et al. http://www.hitachi-hitec.com
/jyouhou/business-microscope/index.html
18
個における生活活動パターンの分析
個をとりまく社会的ネットワークの分析
■ 活動持続時間分布のスケール指数として個人の活動を定量化
■ ネットワークの次数中心性として「場」を定量化
個人における生活活動パターンは，加速度センサで検出された活動状態と休止状態の持続時間
の累積度数分布によって評価する．この分布がスケールフリー性をもつ分布になることが示された
個人をとりまく社会的ネットワーク（「場」）の強さは，その
個体のまわりのネットワーク中心性によって評価する．以
下の２種類の次数中心性を用いて分析している
P(x≧τ)~aτ-γ スケール指数γ 大
スケール指数γ 小
高
入次数中心性
Cin
周囲の人がある個人に対して割いた対面時間の割合
Cin i; G    g ji  
N=160
出次数中心性
j
j
f ji
低
uj
N=160
ある個人が周囲の人に対して割いた対面 時間の割合
Cout i; G    g ij 
j
1
ui
f
ji
j
高
P(x≧τ)~aτ-γ
Cout
低
Nozawa, T., Higo, N., Ara, K., Yano, K., Miyake, Y., "Relationship
between characteristics of individual physical activity pattern and social
interaction," PLoS ONE (under review)
19
N=160 20
5
2012/6/5
5. 音楽的コミュニケーション
音楽における「間」の共創
■ 音楽アンサンブルにおける共創的同時性
■ 協同演奏の分析とモデル化
a
d
Correlatio
n Value
アンサンブルにおいて「間」が合うことは不可欠であるが，そのような共創的同時性を人間と伴奏
ロボットの間に再構成する．
Correla
tion
Value
Note Number
Note Number
Lag
Lag
b
e
Correlatio
n Value
Virtual Ensemble System
(Dual-Dynamics Model)
Correla
tion
Value
Note Number
Note Number
Lag
c
Correlati
on Value
MIDI
Keyboard
Correlati
on Value
Note Number
小林豊, 三宅美博, 協調演奏における演奏者間コミュニ
ケーションの解析, ヒューマンインタフェースシンポジウム
2005論文集, pp.869-874 (2005)
人間
Lag
f
Note Number
Lag
Lag
Correlation Value of Hitting Cycle: a-c, Result of performer D. d-f, Result of performer E. a, d,
Hanon; Virtuoso pianist in 60 exercises no.1. b, e, J.S.Bach; Well tempered clavier Book-1 No.1
prelude BWV846. c, f, Beethoven; Piano sonata Op.27-2 1st mov.
p1
h
1
2
p2
伴奏ロボット
2

1
ＪＳＴ社会技術プロジェクト 「社会システム/社会技術論」(2003-2005)
小林洋平, 三宅美博, 相互引き込みモデルを用いたアンサンブルシステムの開発, 計
測自動制御学会論文集, Vol.40, No.9, pp.948-957 (2004)
小林洋平, 三宅美博, 階層化された相互引き込みモデルに基づくアンサンブルシステ
21
ム, 計測自動制御学会論文集 Vol.41, No.8, pp.702-711 (2005)
22
小林洋平, 三宅美博, 階層化された相互引き込みモデルに基づくアンサンブルシステム, 計測自動制御学会論文集 Vol.41, No.8, pp.702-711 (2005)
インターネットを介するアンサンブル支援
共創的なアンサンブル支援
■ 「間」を合わせてくれる自動伴奏システム
■ ネットにおける時間遅れのもとでの「間」の共創
演奏者と自動伴奏システムのあいだで「間」を合わせることで一体感やグルーヴ感が得られる．
Time lag
Input
SB(t-⊿t)
SA(t)
SB(t)
SA(t)
Output
Output
Subject A
位相差[deg]
SA(t)：Sound generated by A-player at time t
SB(t)：Sound generated by B-player at time t
Time-lag
0msec
Input
SA(t-⊿t)
SB(t)
Subject B
Δt：Time-lag
Time-lag
20msec
Time-lag
40msec
Time-lag
80msec
Time-lag
100msec
ラグによる不安定化
時間 [sec]
カラオケのように一定テンポ
共創的タイミング制御
Time-lag
60msec
[Kobayashi & Miyake 2005]
24
23
小林洋平，永田洋一，三宅美博，音楽アンサンブルにおけるタイムラグの影響, 計測自動制御学会論文集, Vol.40, No.8, pp.876-878 (2004)
6