P1-13 - 日本認知科学会

P1-13
円滑な会話を実現する多人数ビデオチャット環境の構築
Eye Contactable Multi-party Video Conferencing System
佐 藤 良 坂 本孝 丈 兵 藤幸 与 石 川 智之 市 川 淳 後 藤知 彦 竹 内勇 剛
R. Sato, T. Sakamoto, S. Hyodo, T. Ishikawa, J. Ichikawa, T. Goto and Y. Takeuchi
静 岡 大 学 情 報 学 部 認 知 的 コ ミュニ ケ ー ション 研 究 室
, Faculty of Informatics, Shizuoka University
http://cog.cs.inf.shizuoka.ac.jp
1.
は じめ に
具 体 的 な 取 り 組 み と し て は ，会 話 参 加 者 の 視 線
ビ デ オ チャット は ，直 接 会 え な い 者 同 士 が 手 軽
に 互 い の 顔・姿 を 映 し な が ら 語 り 合 え る イ ン タ ー
動作を人物撮影用のカメラからの映像から解析
し ，会 話 参 加 者 間 で 能 動 的 な ア イ コ ン タ ク ト を 実
ネット を 利 用 し た コ ミュニ ケ ー ション ア プ リ の 1 つ
現 で き る 仕 組 み を 従 来 の 多 人 数 ビ デ オ チャット 環
で あ る ．近 年 は 技 術 的 進 展 に 伴 い 1 対 1 だ け で な
境 に 実 装 す る ．こ の こ と に よって ，直 接 対 面 で 行
く，多 人 数 間 で の 会 話 環 境 も 可 能 に なって き て い
る ．と こ ろ が 多 人 数 会 話（3 人 以 上 ）に な る と ，し
な わ れ る 会 話 環 境 に 近 似 し た ビ デ オ チャト 環 境 を
実 現 す る こ と が で き ，複 数 の 次 発 話 者 が 発 話 冒 頭
ば し ば 会話 の 円 滑さ が 損 なわ れ て しま う 事 態が 生
に 重複 し た 発話 を 行 なう な ど の円 滑 な 会話 を 妨 げ
じる．
る 原 因 を な く す こ と が 期 待 さ れ る ．さ ら に 本 研 究
一般に3人以上での多人数会話を円滑に成り立
で 提 案 す る 多 人 数 ビ デ オ チャット 環 境 は ，特 別 な
装 置を 必要と せず に利 用で きた め，CMC におけ る
た せ る た め に は ，次 話 者 が 誰 に な る か と い う 選 択
が 行 な わ れ る の と 合 わ せ て ，次話 者 と し て 選 択 さ
会 話分 析 な どの ツ ー ルと し て 容易 に 利 用す る こ と
れ た 者 があ る タ イミ ン グ にお い て 速や か に 次話 者
ができる．
と し て の 順 番 の 委 譲 を 受 け な く て は な ら な い [1]．
Duncan や Kendon は ，こ の よ う な 話 者 交 替 に 伴 う
際 に ，視 線 や 顔 の 向 き が 強 く 寄 与 し て い る 可 能 性
2.
を 指 摘 し て お り，こ の 考 え は 広 く 受 け 入 れ ら れ て
2.1
い る [2, 3] ．こ の こ と か ら ，円 滑 な 多 人 数 会 話 を 実
自然な多人数ビデオチャット環境構築
の試み
従来の多人数ビデオチャットの問題点
ビ デ オ チャット (video conferencing) 環 境 は ，PC
を 端 末 と し て 複 数 の ユ ー ザ が 互 い の 姿（ 主 に 顔
現 す る た め に は ，会 話 参 加 者 ら の 視 線 や 顔 の 向 き
を 参 加 者間 で 相 互に 参 照 し合 え る 環境 が 要 求さ れ
るはずである．
部 の 映 像 ）と 音 声 を 互 い に 送 受 信 す る マ ル チ モ ー
と こ ろ が 一 般 的 な 多 人 数 ビ デ オ チャット 環 境 で
ダルな CMC(Computer Mediated Communication) で
は ，会 話 参 加 者 間 で 互 い の 姿 を 視 覚 的 に は 参 照 し
あ る ．か つ て は 会 話 を 目 的 と し た CMC は 文 字 に
合 え る の だ が ，話 者 が 誰 を 次 話 者 と し て 選 択 し て
視 線 を 向 け て い る の か ，あ る い は 誰 が 話 者 に 対 し
よ る IRC(Internet Relay Chat) が 中 心 で あ り，後 に
IM(Instant Messenger)が 普及 し，そ の 過程 でファイ
ル の 送 受 信 を す る 機 能 や ，文 字 だ け で な く 音 声 に
よ る 通 話 を 実 現 す る 機 能 や ，カ メ ラ で 撮 影 し た 映
像 を 音 声 と 共 に 送 受 信 す る 機 能（ → ビ デ オ チャッ
ト 機 能 ）へ と 発 展 し て き た ．ビ デ オ チャット は 映
像 を 取 り 扱 う た め 通 信 路 の 帯 域 を 多 く 消 費 し ，端
末での映像の描画処理が高負荷であることから1
対 1 の 会 話 環 境 に 限 ら れ て い た が ，近 年 の 技 術 発
展 に よって 多 人 数 で の 会 話 環 境 も 容 易 に 実 現 で き
る よ う に なって き た ．
多 人 数 ビ デ オ チャット 環 境 で は ，3 人以 上 の 会 話
参 加者 が 互 いの 顔 映 像を そ れ ぞれ の 端 末の 画 面 上
に表示さ せる が，多く の場 合では 図 1 の よう に，会
話 参加 者 の 顔映 像 を タイ ル 状 に並 べ る 画面 構 成 と
なって い る ．し か し こ の よ う な 画 面 構 成 で は ，自
分 を中 心と した 1 対 1 の会 話環 境が 自分 以外 の会 話
て次話者としての順番の委譲を要求しているの
か ，と いった 視 線 や 顔 の 向 き に よ る 働 き 掛 け を 明
確にす るため の配慮 はなさ れていな い．その結果 ，
こ の よ う な ビ デ オ チャット を 多 人 数 で 利 用 し た 場
合 ，会 話 参 加 者 間 で の 発 話 開 始 時 の 重 複 が 頻 繁 に
生 じ る な ど ，話 者 交 替 が 適 切 に 行 な わ れ ず，会 話
の 円 滑 さ が 妨 げ ら れ る と いった 問 題 が 顕 在 化 し て
きている．
そ こ で 本 研 究 で は ，上述 の よ う な 多 人 数 ビ デ オ
チャット環境 における 視線によ る発話の アドレッシ
ン グ や 次 話 者 の セ レ ク ト，次 話 者 と し て の 発 話 権
の 委 譲 要 求 が 明 示 的 に 実 行 で き な い こ と に よって
妨 げ ら れ る 会 話 の 円 滑 さ を ，新 し い ビ デ オ チャッ
ト環境を提案することで改善することを目的と
する．
205
2011年度日本認知科学会第28回大会
図1
図2
図3
多 人 数 ビ デ オ チャット 環 境 の 一 例 (2)．
図4
3 人 が 円 座 に なって い る よ う な イ ン タ
フェー ス ．
多 人 数 ビ デ オ チャット 環 境 の 一 例 (1)．
1 対 1 の会話 環境 が 2 つ同 時に 並行 して
い る よ う な イ ン タ フェー ス ．
般 的 な ビ デ オ チャット 環 境 で は ，会 話 参 加 者 全 員
が 互 い に 自 分 以 外 の 参 加 者 と 正 面 を 向 き 合って い
る 状 態 と なって い る の で あ る ．
参 加 者 の人 数 分 並列 に 提 供さ れ て いる よ う な印 象
本 稿 冒 頭 で も 述 べ た が ，円 滑 な 多 人 数 会 話 を 実
を 与 え る（ 図 2）．
一 方 ，図 3 に示 す よ う な 多 人 数 ビ デ オ チャット 環
現 す る た め に は ，会 話 参 加 者 ら の 視 線 や 顔 の 向 き
境 で は ，自 分 以 外 の 会 話 参 加 者 が 円 座 に なって 互
い の 顔 を 参 照 し あって い る よ う な イ ン タ フェー ス
を 参加 者 間 で相 互 に 参照 し 合 える 環 境 が要 求 さ れ
と なって い る ．こ の よ う な 映 像 の 表 示 効 果 に よっ
る ．な ぜ な ら ば ，多 人 数 で の 会 話 場 面 で は ，話 者
以 外 に 複 数 の 次 話 者 候 補 者 が い る た め ，次 に 挙 げ
て ，会 話 参 加 者 全 員 が 1 つ の 会 話 の 場 を 共 有 し て
る 項 目 が 視 線 に よって 表 現 さ れ る 可 能 性 が あ る か
いるような印象を各参加者に与えることができ，
ら で あ る [4, 5] ．
(a) 話 者 が 誰 を 次 話 者 と し て セ レ ク ト す る の か ．
(b) 次 話 者 と し て ア ド レ ス さ れた 者 が 次 話 者 と な
ることを受け入れるか．
(c) 次 話 者 と し て セ レ ク ト さ れる こ と を 要 求 し て
いるか．
(d) 誰 を 次 話 者 と す べ き か ．
会 話 の 活 性 化 が 期 待 さ れ る（ 図 4）．
ビ デ オ チャット 環 境 は 通 常 ，PC に 接 続 さ れ た カ
メ ラ で 撮 影 さ れ た 会 話 参 加 者 の 上 半 身 映 像（ 顔 映
像 ）が ，他 の 参 加 者 の ディス プ レ イ に 表 示 さ れ る
仕 様 に なって い る ．カ メ ラ の 多 く は ディス プ レ イ
中 央 上 部 の フ レ ー ム 内 な ど ，でき る 限 り 会 話 参 加
者 が ディス プ レ イ を 注 視 し て い る 際 の 顔 を 正 面 か
しかし従来 のビデオ チャット環境で は，話者やそ
ら 撮 影 で き る 位 置 に 設 置 さ れ る ．そ の た め ，各 会
れ 以 外 の 会 話 参 加 者 の 視 線 が ，誰 か ら 誰 へ と 向 け
話 参 加 者 の ディス プ レ イ 上 に は 常 に 他 の 参 加 者 が
正 面 を 向い た 映 像が 表 示 され て い る状 態 で 会話 を
ら れて い る かは 適 切 に再 現 され な い ．し た がって ，
上 記 の よ う な 視 線 に よって 表 現 さ れ る 話 者 交 替 に
行 な う 環 境 と なって い る ．こ の よ う な 環 境 は ，直
関 わ る イ ン タ ラ ク ション は ，従 来 の ビ デ オ チャッ
接 対 面 で の 会 話 場 面 で は 存 在 し え な い ．つ ま り 一
ト 環境 で は 成 り立 た な い ．そ の 結 果 ，(a) の よ う な
206
P1-13
場 合 に は 次 話者 を 言 語 的 に呼 ん だ り，(c) の よ う な
場 合 に は 挙 手 を し た り す る こ と で ，視 線 以 外 の モ
ダ リ ティを 用 い た 円 滑 な 話 者 交 替 を 試 る ほ か 有 効
な手段はない．
2.2
円 滑 な 多 人 数 ビ デ オ チャット を 実 現
す るた めの 先行 研究
2.1 節で 述べた ような視 線によ る円滑な 話者交 替
の た め の イ ン タ ラ ク ション を ，多 人 数 で 利 用 す る
ビ デ オ チャット シ ス テ ム で 実 現 す る た め に，Sellen
ら は Hydra Unit と 呼 ぶ 小 型 ディスプ レ イ と カ メ ラ，
ス ピ ー カ ，マ イ ク を 内 蔵 し た 装 置 を ，自 分 以 外 の
図 7 複合現実感技術を用いた多人数会話環境．
が 正 面 を 向 く よ う に し ，そ れ 以 外 の 会 話 参 加 者 の
会 話 参 加者 の 身 体に 見 立 てて テ ー ブル 上 で の多 人
映 像 は 斜 面 像 と す る こ と で ，誰 が 誰 と ア イ コ ン タ
数 会 話 を 試 み た（図 5）．こ の 装 置 は ，各 参 加 者 が
個 別 に 身 体 化 さ れ て い る た め ，あ る 装 置 に 対 す る
ク トを し て いる か を 明示 的 に 表示 さ せ るこ と が で
き る [7]．
注 視 は ，そ の 装 置 に 割 り 当 て ら れ て い る 参 加 者 へ
ま た これ に 類 似 し た 多 人 数 で の 共 同 作 業 環境 と
し て ，Okada ら の MAJIC な ど が あ る [8]．さ ら に 井
の 視 線 と な り，直 接 対 面 し た 状 況 と 近 似 し た 相 互
に ア イ コン タ ク トを 可 能 にし た 会 話環 境 を 構築 す
上 は ，HMD に よ る 複 合 現 実 感 技 術 を 用 い る こ と
る こ と が で き る と さ れ て い る [6]．
で複数の会話参加者を仮想的に1つのテーブルを
囲 ん で 会 話 し て い る か の よ う な 環 境 を ，直 接 対 面
で の 多 人 数 会 話 を 行 なって い る か の よ う な 装 置 を
通 し て ，視 線 が 会 話 の 円 滑 な 進 行 に ど の よ う な 効
果 を 与 え て い る か を 報 告 し て い る（ 図 7）[9, 10] ．
2.3
図5
2.2 節で 挙 げた よ うな ，す でに 開 発さ れ た会 話 参
加 者間 の ア イコ ン タ クト を 可 能と し た 多人 数 ビ デ
オ チャット 環 境 は ，Skype や iChatAV の よ う に 一 般
に 広く 普 及 して い る よう な 市 販さ れ て いる USB カ
メ ラ を PC に 接 続 し ，プ ロ グ ラ ム を 起 動 す る だ け
の手軽さはない．
そ こ で 筆 者 ら は ，よ り 簡 便 に 市 販 さ れ て い る 安
価 な機 器 と 一般 的 な PC を使って ，多 人 数の 会 話 参
加 者が 互 い にア イ コ ンタ ク ト をす る こ とが で き る
ビ デ オ チャット 環 境 の 構 築 を 試 み る ．
提 案シ ステ ムで は，図 8 に示 すよ うに ，各 会話 参
加 者が 仮 想 的に 円 形 のテ ー ブ ルを 囲 む よう な 位 置
Hydra Unit に よ る 多 人 数 会 話 環 境 ．
図6
提 案 する 多人 数ビ デオ チャット 環境
Gaze-2 に よ る 多 人 数 会 話 環 境 ．
ま た Vertegaal ら は ，ハー フ ミ ラ ー を 用 い て ハ ー
B
フ ミ ラ ー の 背 後（ 会 話 参 加 者 か ら は 見 え な い ）に
カ メ ラ を 複 数 台 設 置 し ，そ の 各 カ メ ラ と そ の 会 話
A
B
A
B
参 加 者 とを 結 ぶ 線上 の ハ ーフ ミ ラ ー上 に 自 分以 外
の 会 話 参 加 者 の 映 像 を 鏡 面 反 射 に よって 投 影 す る
AB
装 置 によって ，多 人数 での ビ デオ チャット 環境 にお
け る ア イ コ ン タ ク ト の 実 現 を 試 み た [7]．こ の 装 置
C
は Gaze-2 と 呼 ば れ ，各 会 話 参 加 者 は 図 6 に 示 す よ
図8
う に ，自 分 が 視 線 を 向 け て い る 会 話 参 加 者 の 映 像
207
D
C
D
視 線 の 方 向 と ア イ コ ン タ ク ト．
2011年度日本認知科学会第28回大会
%!(A)"
$ A#
&'(
$
!##
"%
図 10
図9
会 話 参 加 者 の 映 像 の 位 置 シ フ ト．
自分を注視している会話参加者の表
示のされ方．
関 係 に 配 置 さ れ る ．そ し て ，図 9 の よ う に あ る 会
話 参 加 者が 視 線 を向 け た 人物 の 映 像が 正 面 に表 示
応 し た Skype Premium 5.3 for Windows を 利 用 し て
さ れ る よ う に ，他 の 会 話 参 加 者 の 映 像 の 位 置 が 左
い る ．自 分 以 外 の 会 話 参 加 者 の 映 像 が ディス プ レ
右 ど ち ら か に シ フ ト さ れ る ．ま た ，他 者 か ら 視 線
イ 内 で 位 置 シ フ ト す る 機 構 は OpenGL を 用 い て 処
を 向 け ら れ た 会 話 参 加 者 の ディス プ レ イ で は ，自
分を注視している者の映像がその位置で正対し，
理 さ れ て お り，ディス プ レ イ に 表 示 さ れ た 映 像 の
キャプ チャし ，Microsoft Visual C++で コ ー ディン
残りの会話参加者の映像が斜面像となることで，
グ され た 視 線検 知 プ ログ ラ ム の出 力 に 応じ た 位 置
被 注 視 状 態 と し て 感 じ ら れ る よ う に な る（ 図 10）．
に 映 像 を 再 配 置 す る こ と で 実 現 し て い る ．な お ，
こ の と き ，自 分 に 正 対 し て い る 映 像 に 視 線 を 向 け
視 線 検 知 に は OpenCV を 用 い て お り，左 右 へ の 視
線移動量を実時間で検出することができる．
る と ，そ の 映 像 が ディス プ レ イ 中 央 に シ フ ト し て
く る ．こ れ によ り，2 者 間に おけ る アイ コン タ クト
3. 提 案 シス テム の評 価実 験
3.1 実 験 目的
を 能 動 的 に 行 な う こ と が で き る よ う に な る ．た だ
し ，会 話 参 加 者 の 正 面 に 表 示 さ れ る 映 像 は ，あ く
ま で も その 者 が 視線 を 向 けた 他 の 会話 参 加 者の 映
像となる．
本 実 験 で は ，多 人 数 ビ デ オ チャット 環 境 に お い
て ，会 話 参 加 者 の 視 線 が 円 滑 な 会 話 の 進 行 に ど の
会 話 参 加 者 P に 視 線 を 向 け た S の ディス プ レ イ
よ う な 影 響 を 与 え る 要 因 と なって い る か を 検 証 す
正 面 に P の 映 像 が シ フ ト し て く る ．カ メ ラ と
同 一 直 線 上 で 向 き 合 う 状 態 と な る（ 図 9）．
る ．本 実 験 に お い て は ，円 滑 な 会 話 の 進 行 と は 次
のような状態であると定義する．
会 話 参 加 者 S に 視 線 を 向 け ら れ た P の ディス プ レ イ
ディス プ レ イ 上 の 位 置 は そ の ま ま で ，S の 映
像 の み が 正 対 し ，残 り の 会 話 参 加 者 の 映 像 は
斜 面 像 と な る（ 図 10）．
(A) 話 者 交 替 が 行 な わ れ る 際 の発 話 の 重 複 が 適 切
に回避されている．
(B) 次 話 者 が 適 切 に 順 番 の 委 譲を 受 け て 発 話 を 開
始している．
本 提 案 シ ス テ ム は 先 述 し た 通 り，特 別 な 装 置 を
こ の よう な 円 滑 な 会 話 が 多 人 数 間 で 成 り 立つ た
利 用 す る こ と な く，一 般 的 な ユ ー ザ が 通 常 利 用 し
ているようなコンフィグレーションで円滑な多人数
め に は ，各 会 話 参 加 者 の 視 線 の 向 き や 動 き が 強 く
寄 与 し て い る こ と が 先 行 研 究 に よってす で に 実 証
ビデオチャット 環境を構築す るために，市販の USB
さ れ て い る ．こ れ ら の 知 見 は ，直接 対 面 し て い る
カ メ ラ（Logicool 製 Qcam Orbit）か ら 撮影 した 映像
状 況 で の 多 人 数 会 話 に 基 づ い た も の で あ り，ビ デ
を ，視 線 方 向 の 検 知 に も 利 用 す る ．そ し て 各 会 話
オチャット環境で は，視線の向きや動き がどのよう
参 加 者 が 利 用 す る PC （DELL 製 Studio XPS9000）
上で，視線 方向に応 じた映 像の表 示位置 を計算し ，
に会話進行の円滑性に寄与するかは不明である．
本実験の仮 説として は，ビデオチャット環 境にお
ア イ コ ンタ ク ト をし て い る会 話 参 加者 同 士 が互 い
い て も 直 接 対 面 の 状 況 と 同 様 に ，視 線 の 向 き や 動
に ディス プ レ イ の 正 面 に そ れ ぞ れ の 顔 映 像 が 表 示
き が多 人 数 での 円 滑 な会 話 を 進行 さ せ てい く 上 で
さ れ る よ う に ソ フ ト ウェア 的 に 操 作 し て い る（ 図
11）．
多人数ビデオチャットを実現する通信アプリケー
ションは ，多人 数会 話（グル ープ ビデ オ通 話）に対
必 要 な 要 因 と な る と 考 え る ．し た がって ，本 提 案
シ ス テ ム を 利 用 し た 多 人 数 ビ デ オ チャット 環 境 で
の 会 話 は ，会 話 参 加 者 の 視 線 の 向 き や 動 き を 互 い
に 参 照 可 能 で あ る た め ，直 接 対 面 で の 場 合 と 同 様
208
P1-13
),
%
),
+*
%
+*
+
*
+*#(
*
+
*
+
*
+
), %
+*#(
.#
&#
!$
#
' #
&-#
+*"#
+*#(
図 11
提 案 す る 多 人 数 ビ デ オ チャット シ ス テ ム の 概 要 ．
な 多 人 数 会 話 の 進 行 が 観 察 さ れ る と 予 測 す る ．同
時 に ，本 提 案 シ ス テ ム と は 異 な り，会 話 参 加 者 間
の 視 線 の向 き や 動き を 考 慮し て い ない 一 般 に利 用
可 能 な 多 人 数 ビ デ オ チャット シ ス テ ム で は ，本 提
案 シ ス テ ム お よ び 直 接 対 面 の 場 合 と 比 較 し て ，円
滑 な 会 話 の 進 行 が 妨 げ ら れ る と 予 測 す る（ 表 1）．
表1
会話環境と円滑な会話の進行に関す
る予測．
会話環境
視線の利用可能性
予測
直接対面
利用可能
円滑
提案システム
利用可能
円滑
従来システム
利用不可能
非円滑
図 12
3.3
3.2
直接対面条件での会話．
観 察 指標
本 実 験 で は ，次 の 2 つ の デ ー タ を 観 察 指 標 を し
実 験条 件
て デ ー タ の 分 析 を 行 な う．
(1) 発 話 開 始 時 の 重 複（ 頻 度 ）
(2) 前 発 話 と 次 発 話 と の 間（ 沈 黙 時 間 ）
本 実 験 で は ，3.1 節で 比 較 し た よ う に ，次 の 3 つ
の 実 験 条件 の も とで 次 節 で述 べ る 観察 指 標 に基 づ
い た 比 較 を 行 な い ，本 提 案 シ ス テ ム が 円 滑 な 多 人
3.1 節冒 頭 でも 述 べた よ うに ，本 研究 に おい て は
円 滑 な 会 話 の 進 行 は ，話 者 交 替 が 行 な わ れ る 際 の
直 接 対 面 条 件 図 12 の よ う に 各 会 話 参 加 者 が 向 か
発 話 の 重 複 が 適 切 に 回 避 さ れ て い る こ と と ，次 話
い合うように着座して会話をする．
者 が適 切 に 順番 の 委 譲を 受 け て発 話 を 開始 し て い
ることであると定義している．
提 案 シ ス テ ム 条 件 各 会 話 参 加 者 が ，図 13 で 示 す
そ の た め ，仮 に 発 話 の 進 行 が 円 滑 で な け れ ば ，
よ う な 環 境 の も と で ビ デ オ チャット を 行 な う．
発 話開 始 時 にお い て 複数 の 会 話参 加 者 によ る 重 複
従 来 シ ス テ ム 条 件 各 会 話 参 加 者 が ，図 14 で 示 す
（ 同 時 に 発 話 す る こ と ）が 生 じ る 頻 度 が 高 く な る
よ う な 環 境 の も と で ビ デ オ チャット を 行 な う．
と 予 測 で き る ．す な わ ち 直 接 対 面 で の 会 話 の 場 合
本 実 験 で は ，3 人 を 1 グ ル ー プ の 単 位 と し て ，5
で は 視 線 の 向 き や 動 き に よって 話 者 交 替 が 円 滑 に
グ ル ー プの 実 験 協力 者 が 会話 参 加 者と し て 各条 件
行 な わ れ る と 仮 定 す れ ば ，ビ デ オ チャット の 場 合
で の 多 人 数 会 話 を そ れ ぞ れ 1 回 ず つ 体 験 す る ．グ
に お い て ，円 滑 な 会 話 が 行 な わ れ て い る な ら ば 直
ループ内の実験協力者の組合せは変わらない．
接 対面 条 件 と同 じ 程 度の 頻 度 でし か 発 話開 始 時 の
数会話の進行に有効であることを実証する．
209
2011年度日本認知科学会第28回大会
このような実験環境は，
直接対面での会話において
は違和感があるかもしれな
い ．し か し ，直 接 対 面 条 件
は他の2つの実験条件に対
す る 統 制 条 件 なって い る た
め ，こ の よ う な 形 に す る こ
と で ，各 条 件 間 の 結 果 の 差
図 15 会 話 参 加 者
異が視線の向きや動きを要
の正面像．
因としていることが明確に
図 13
なる．
実 験 課 題 と し て ，3 名 の 会 話 参 加 者 は 次 に 述 べ
提案システム条件での会話．
る 会 話 ゲ ー ム を 行 な う．
1. 3 名 の 会 話 参 加 者 は ，そ れ ぞ れ 自 分 が 顔 を は
め て い る ボ ー ド の 正 面 に 書い て あ る 動 物 や 事
物 の 名 称 を ，他 の 参 加 者 と の 会 話 に よって 誰
よ り も 早 く 推 理 し ，正 解 す る こ と 目 指 す（ 図
15）．
図 14
2. 会 話 参 加 者 は ，自 分 の ボ ー ド に 何 と 書 い て あ
るかは知らない．
3. 会 話 参 加 者 は ，他 の 参 加 者 を 呼 ぶ 際 に そ の 者
の名前を呼んではいけない．また，相手のボー
ド に 書 い て あ る 動 物 や 事 物の 名 称 で 呼 ん で も
いけない．
4. 会 話 参 加 者 は ，積 極 的 に 他 の 参 加 者 に 自 分 の
ボ ー ド に 書 い て あ る 名 称 に関 す る ヒ ン ト を 得
る た め の 会 話 を 行 な う．会 話 参 加 者 は 基 本 的
に 虚 偽 の 発 言 を し て は な ら ず，ル ー ル に 抵 触
しないように可能な限り簡潔に答える．
5. 会 話 参 加 者 は ，互 い に 自 分 以 外 の 参 加 者 の 推
理を助けるための情報を言語的に提供する．
従来システム条件での会話．
重複は発生しないと予測できる．
ま た 次 発 話 を す べ き 会 話参 加 者 が 誰 か 不 明 な 状
態 に な り，次 話 者 が 決 定 せ ず に 前 発 話 と 次 発 話 と
の 間 に 時 間 的 な 空 白（ 沈 黙 時 間 ）が 生 じ て し ま う
可 能 性 も 予 測 で き る ．こ れ に 関 し て も ，直 接 対 面
1 ゲー ム は 5 分 間 とし ，1 つ の グル ー プ は 3 つ の 実
験 条 件 の も と で の 多 人 数 会 話 を 1 回 ず つ 行 な う．
で の 会 話 の 場 合 で は 視 線 の 向 き や 動 き に よって 話
者 交 替 が 円 滑 に 行 な わ れ る と 仮 定 す れ ば ，ビ デ オ
チャット の 場 合 に お い て ，円 滑 な 会 話 が 行 な わ れ
い る な らば 直 接 対面 条 件 と同 じ 程 度の 間 し か生 じ
3.5
ることはないと予測できる．
実 験 結果
本 実 験 は ，3 名 1 組 の グ ル ー プ が 3 つ の 実 験 条 件
3.4
を 1 回 ず つ 行 な う た め ，被 験 者 内 実 験 計 画 と み な
す こ と が で き る ．実 験 で は 5 組 の グ ル ー プ が 参 加
実 験手 続き と実 験課 題
し た が ，実 験 時 間 の 5 分 間 で の グ ル ー プ 間 で の 発
本 実 験 で は 多 人 数 ビ デ オ チャット に お い て 円 滑
話量はほぼ同程度であることが確認されている．
な 話 者 交替 が 行 なわ れ る 際の 視 線 の効 果 を 検証 す
こ の こ と に 基 づ い て ，3 つ の 条 件 間 で 観 察 指 標
る た め に ，会 話 参 加 者 の 顔 の 向 き や 身 振 り・手 振
で ある 発 話 開始 時 の 重複 が 発 生し た 頻 度を 比 較 し
た（図 16）．デ ー タ が 5 グ ル ー プ 分 で し か な い た め
り な ど 視線 以 外 の非 言 語 的な 表 現 を排 除 し た形 で
実験を 行なう．実際には ，図 15 のように，会話参 加
統 計 的 な 信 頼 性 が 低 い こ と は 否 め な い が ，1 要 因
者 と し て の 実 験 協 力 者 は ，顔の サ イ ズ に く り 抜 か
3 水 準 で の 分 散 分 析 の 結 果 ，発 話 開 始 時 の 重 複 回
数 は 会 話 環 境 の 違 い に よって有 意 に 差 が 生 じ る こ
と が 示 さ れ た（F(2,3) = 9.71, p < .01 ）．LSD 法 に
よ る 下 位 検 定 の 結 果 は ，従 来 シ ス テ ム 条 件 が 他 の
2つの実験条件よりも重複回数が多いことが明ら
れ た ボ ー ド に 顔 を は め 込 ん で 会 話 す る た め ，視 線
の 向 き や 動 き 以 外 に 顔 や 体 を 左 右 に 向 け た り ジェ
ス チャー を し た り す る 非 言 語 的 な 表 現 は で き な い
環 境 に なって い る ．
210
P1-13
図 16 発 話 開 始 時 の 重 複 回 数 の 条 件 間 で の 比 較（ 回 ）．
図 17 300 秒 の う ち の 沈 黙 時 間 の 条 件 間 の 比 較（ 秒 ）．
か に なった（M Se = 2.07, p < .05）．た だ し ，提 案
シ ス テ ム条 件 と 従来 シ ス テム 条 件 の間 で の 有意 な
なった ．
発 話 開 始 時 の 重 複（ 頻 度 ）に 関 す る 予 測
発 話 開 始 時 の 重 複 の 頻 度 は ，直 接 対 面 条 件 が
差 は な かった ．
次 に 5 分間（300 秒）の実 験 時 間 内に ，3 名の 会 話
参加者のいずれもが発話していない状態の時間
最 も 少 な く，そ れ と 同 程 度 で 提 案 シ ス テ ム 条
件 が 並 び ，従 来 シ ス テ ム 条 件 は こ の 2 つ の 条
（ 沈 黙 時間 ）の 条件 間 で の 比較 を 行 なった（ 図 17）．
件 と 比 較 し て 高 い 値 を 示 す．
そ の 結 果 ，発 話 開 始 時 の 重 複 回 数 の 比 較 の 場 合 と
前 発 話 と 次 発 話 と の 間（ 沈 黙 時 間 ）に 関 す る 予 測
同 様 に サン プ ル 数が 不 足 して い る ため 信 頼 性に 乏
し い 統 計 値で は あ る が ，1 要 因 3 水準 で の 分散 分 析
沈 黙 時 間 は ，直 接 対 面 条 件 が 最 も 短 く，そ れ
と 同 程 度 で 提 案 シ ス テ ム 条 件 が 並 び ，従 来 シ
ステム条件はこの2つの条件と比較して長く
の 結 果 ，沈 黙 時 間 は 会 話 環 境 の 違 い に よって 有 意
に 差 は み ら れ な かった（F(2,3) = 2.46, n.s. ）．
なる．
ま ず，発 話 開 始 時 の 重 複 に 関 す る 予 測 は ，図 16
3.6
が 示 す よ う に ，ほ ぼ そ の 正 し さ が 検 証 さ れ た と い
え る ．一 方 ，沈 黙 時 間 に 関 し て は ，図 17 が 示 す よ
考察
本 実 験 を 通 し て ，3.3 節 で 示 し た 次 の 2 つの 観 察
う に ，各 条 件 間 に 差 が な く，予 測 通 り の 結 果 に は
指 標 と それ に 対 する 結 果 の予 測 の 正否 が 明 らか に
な ら な かった ．
211
2011年度日本認知科学会第28回大会
こ の よ う な 結 果 と なった 原 因 と し て 想 定 で き る
環 境 を 提 案 し ，実 験 に よって そ の 有 効 性 を 検
ことは次の通りである．
証した．
3. 多 人 数 ビ デ オ チャット 環 境 で は ，会 話 参 加 者
(a) 提 案 シ ス テ ム を 利 用 し た 場 合 に は ，会 話 参 加
者 の 視 線 の 向 き や 動 き に よって 自 分 の 正 面 に
表示される他の参加者の映像が切り替わるた
め ，明 示 的 な 発 話 の ア ド レッシ ン グ や 次 話 者
の セ レ ク ト が 行 な わ れ ，発 話 開 始 時 の 重 複 が
抑制された．
(b) 提 案 シ ス テ ム 条 件 で は ，会 話 参 加 者 の 視 線 の
向きや動きに伴う映像の切り替えが発生する
が ，こ の 際 ，会 話 参 加 者 の 視 線 の 動 き に 適 応
で き て お ら ず，視 線 検 知 精 度 が 一 定 で な かっ
た ．こ の た め ，会 話 参 加 者 は 映 像 の 切 り 替 え
が 完 了 す る ま で ，前 発 話 者 に セ レ ク ト さ れ た
次 発 話 者 の 発 話 を 待った こ と に よって 沈 黙 時
間 が 増 加 し て し まった ．
同 士 の 視 線 の 向 き や 動 き が会 話 の 円 滑 な 進 行
に強い効果を与えることが示唆された．
3.6 節で 述 べた よ うに ，本 実験 結 果は ま だ中 途 の
も の で あ り，今 後 よ り 一 層 の デ ー タ の 追 加 ，お よ
び 発話 デ ー タ間 の 関 係な ど の 精度 の 高 い分 析 と 提
案 シ ス テ ム の 改 良 が 必 要 で あ る ．ま た ，本 シ ス テ
ム を通 し て 検知 し た 視線 の 向 きや 動 き のロ グ デ ー
タ を ロ ボット の 頭 部 の 動 き に 反 映 さ せ ，そ の 際 の
会 話 音 声 と 同 期 さ せ る こ と で ，疑 似 的 な 直 接 対 面
での会話状況の再現を試みていきたい．
謝辞
上 述 の分析 が示 唆す るこ とは，提 案シ ステ ムが ，
本 研 究 の 目 的 で あ る 多 人 数 ビ デ オ チャット 環 境 に
本 研 究 は ，国 立 情 報 学 研 究 所 H21,22 年度 共 同 研
究「 多 人 数 ビ デ オ チャット に お け る 適 切 な 発 話 ア
ドレッシング手 法の開発と円 滑な対話環境 の構築」
お け る 視 線 に よ る 発 話 の ア ド レッシ ン グ や 次 話 者
の セ レ ク ト，次 話 者 と し て の 発 話 権 の 委 譲 要 求 が
（ 坊 農 真 弓 担 当 ）に よ る 助 成 を 受 け て い る ．
明 示 的 に 実 行 で き な い こ と に よって 妨 げ ら れ る 会
参 考文 献
話 の 円 滑さ を 改 善す る こ とに 十 分 寄与 で き る能 力
を 有 し て い る と い う こ と で あ る ．前 発 話 と 次 発 話
[1] Sacks, H., Schegloff, E. A., and Jefferson, G. (1974)
“A simplest systematics for the organization of turntaking for conversation,” Language, Vol.50, No.4,
pp.696-735.
と の 間 の 沈 黙 時 間 が ，提 案 シ ス テ ム 条 件 で は 直 接
対 面 条 件 と 同 程 度 に な ら な かった が ，む し ろ こ の
結 果 は ，提 案 シ ス テ ム が 提 供 し て い る 会 話 参 加 者
の 視 線 の向 き や 動き に 応 じた 他 の 参加 者 の 映像 の
[2] Duncan, Jr., S. (1972) “Some signals and rules for
taking speaking turns in conversation,” Journal of
Personality and Social Psychology, Vol.23, pp.283292.
切 り 替 えが 有 効 に寄 与 し たた め に 生じ た も ので あ
り，従 来 シ ス テ ム 条 件 の 場 合 の 沈 黙（ 誰 が 次 話 者
か不明 な状態で互い に発話を譲り 合っている状 態）
とは異なる性質のものであると考えられる．
現 時 点 で は ，デ ー タ の サ ン プ ル 数 も 不 足 し て お
[4] 榎 本 美 香, 伝 康 晴 (2003) “3 人 会 話 に お け る 参 与 役
割 の 交 替 に 関 わ る 非 言 語 行 動 の 分 析,” 人 工 知 能 学
会 SIG-SLUD 資 料, Vol.38, pp.25-30.
り，ま た 分 析 お よ び 提 案 シ ス テ ム の 視 線 検 知 の 精
度 も 十 分 な も の で は な い ．し た がって 本 実 験 を 通
[5] Lerner, G. H. (2003) “Selecting next speaker: The
context-sensitive operation of a context-free organization,” Language in Society, Vol.32, pp.177-201.
し て ，提 案 シ ス テ ム の 有 効 性 が 実 証 さ れ た と い う
結 論 を 導 く こ と は 尚 早 で あ る ．し か し な が ら ，多
人 数 ビ デ オ チャット 環 境 に お い て ，会 話 参 加 者 の
[6] Sellen, A., Buxton, W., and Arnott, J. (1992) “Using spatial cues to improve video-conferencing,” Proceedings of CHI92, pp.651-652.
視 線 の 向き や 動 きが 会 話 の円 滑 な 進行 に 大 きく 影
響 し て い る 可 能 性 を 示 唆 で き た 点 で ，本 実 験 の 成
[7] Vertegaal, R., Weevers, I., and Sohn, C. (2002)
“GAZE-2: an attentive video conferencing system,”
Proceeding of CHI02, pp.736-737.
果 は あった と 考 え る ．
4.
[3] Kendon, A., (1967) “Some functions of gaze direction
in social interaction,” Acta Psychologica, Vol.26,
pp.22-63.
ま とめ と今 後の 展望
[8] Okada, K., Maeda, F., Ichikawa, Y., and Matsushita,
Y. (1994) “Multiparty Videoconferencing in Virtual
Social Distance: MAJIC Design,” Proceedings of
ACM CSCW’94, pp.385-393.
本稿では次の点を中心に述べた．
1. 従 来 の 多 人 数 ビ デ オ チャット 環 境 で は ，会 話
参加者同士の視線の向きが誰から誰に向けら
れ て い る か 表 現 さ れ ず，次 発 話 の 開 始 時 で 発
話が重複するなど円滑な会話の進行を妨げて
いる可能性がある．
2. 会 話 参 加 者 同 士 の 視 線 の 向 き や 動 き を 参 加 者
間 で 互 い に 共 有 で き る 多 人 数 ビ デ オ チャット
[9] 野 口 康 人, 井 上智 雄 (2007) “複 合 現実 感 を用 い た 分
散 会 議 に お け る 複 数 ア バ タ の 配 置 と 表 現,” 情 報 処
理 学 会 論 文 誌, Vol.48, No.1, pp.54-62.
[10] 井 上 智 雄 (2009) “実 対 人 距 離 を 調 整 可 能 な 複 合 現
実分散会 議システム,” 情報処理 学会論文誌, Vol.50,
No.1, pp.246-253.
212