遠隔ミーティングの 記録・再生を支援するシステムの研究 井上直人

筑波大学大学院博士課程
システム情報工学研究科修士論文
遠隔ミーティングの
記録・再生を支援するシステムの研究
井上 直人
(知能機能システム専攻)
指導教官 葛岡 英明
2004 年 1 月
概要
本研究では, 日常的な遠隔ミーティングにおいて過去に行なった話し合いの内容を忘れてし
まうという問題点を解決するシステムの開発を行なった. このシステムでは, 映像メディアを
介したコミュニケーションの利点を生かし, 常に撮影されている作業者の映像を蓄積しておく
という手法を用いた. このようにして蓄積した情報は, 話し合いの全ての情報を含んでいるが
膨大な量のデータになるため, いかに短時間で適切な場面を提示できるかが重要であると考え
られる. そこで, 本研究では Toulmin が提唱した議論モデルに注目し, ユーザに提示すべき適切
な場面について考察した. Toulmin の議論モデルによれば, 何らかの結論における「論拠」と
は, 「根拠」を解釈し意味付けを行なって「主張」を成立させる役割があるとされている. 本
研究では, このような重要な役割を持つ「論拠」がメモを取る際に欠落してしまったため「主
張」の確からしさを示すことができず, 結果として議論の内容が不明瞭になると考えた. そこ
で, 同時発話の持つ機能に注目し, 同時発話が多く発生する部分を再生開始時刻の候補とする
システムを構築した. さらに, 本システムを用いて行なった, レポート作成課題実験によって,
本研究で提案した手法が従来の手法に比べて, 短い作業時間で, あるメモに関する理由や詳細
な内容を検索できることを確認した.
目次
第 1 章 はじめに
1.1 研究の背景 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1.2 研究の目的 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1.3 本研究の構成 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
第 2 章 インフォーマルな話し合いにおけるメモの特徴
2.1 旅行計画立案実験 . . . . . . . . . . . . . . . .
2.1.1 実験設定 . . . . . . . . . . . . . . . . .
2.1.2 実験結果と考察 . . . . . . . . . . . . .
2.2 記憶過程におけるコミュニケーションの役割 .
2.3 システムの開発方針 . . . . . . . . . . . . . .
2.4 関連研究 . . . . . . . . . . . . . . . . . . . . .
2.5 本章のまとめ . . . . . . . . . . . . . . . . . .
1
1
2
2
.
.
.
.
.
.
.
3
3
3
3
5
6
8
10
.
.
.
.
.
.
.
.
.
.
.
.
11
11
12
12
12
13
14
17
18
19
24
24
24
第 4 章 作業者の発話行動による再生開始時刻の検討
4.1 Toulmin の議論モデル . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
4.2 メモ内容の調査 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
4.2.1 実験設定 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
26
26
28
28
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
第 3 章 遠隔ミーティングの記録・再生を支援するシステムの開発
3.1 遠隔会議システム Agora . . . . . . . . . . . . . . . . . . .
3.1.1 遠隔作業者投影用スクリーン . . . . . . . . . . . .
3.1.2 半共有領域 . . . . . . . . . . . . . . . . . . . . . .
3.1.3 書画カメラ領域 . . . . . . . . . . . . . . . . . . . .
3.2 遠隔ミーティングの記録・再生支援システム . . . . . . . .
3.2.1 描画情報管理 PC . . . . . . . . . . . . . . . . . . .
3.2.2 ビデオ管理 PC . . . . . . . . . . . . . . . . . . . .
3.2.3 再生を支援する機能 . . . . . . . . . . . . . . . . .
3.3 ズーム機能付き書画カメラシステム . . . . . . . . . . . . .
3.4 予備実験 . . . . . . . . . . . . . . . . . . . . . . . . . . . .
3.4.1 実験設定 . . . . . . . . . . . . . . . . . . . . . . . .
3.4.2 実験結果と考察 . . . . . . . . . . . . . . . . . . . .
i
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
28
30
32
32
33
35
.
.
.
.
.
36
36
39
39
42
44
第 6 章 考察と今後の展望
6.1 実験結果の考察 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
6.2 今後の課題 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
45
45
46
第7章
おわりに
47
謝辞
48
参考文献
49
4.3
4.4
4.2.2 実験結果と考察 . . . . . . . .
同時発話の役割 . . . . . . . . . . . .
再生開始時刻決定手法の提案と実装 .
4.4.1 再生開始時刻決定手法の概要
4.4.2 Ward 法によるクラスター分析
4.4.3 トピック提示ウィンドウ . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
第 5 章 評価実験
5.1 実験設定 . . . . . . . . . . . . . . . . . . . . . . .
5.2 実験結果 . . . . . . . . . . . . . . . . . . . . . . .
5.2.1 第三者によるレポート作成課題実験の結果
5.2.2 本人によるレポート作成課題実験の結果 .
5.3 本章のまとめ . . . . . . . . . . . . . . . . . . . .
ii
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
図目次
1.1
本研究が支援する遠隔ミーティングのイメージ . . . . . . . . . . . . . . . . .
1
2.1
2.2
2.3
2.4
2.5
2.6
2.7
詳細を忘れてしまったメモ . . . . . . . . . . . . . .
資料を詳細に参照する様子 . . . . . . . . . . . . . .
資料と作成されたメモ . . . . . . . . . . . . . . . .
高取の実験における個人再生と共同再生の学習曲線
NoteLook の概観とシステム構成 . . . . . . . . . . .
ReSPoM の概観 . . . . . . . . . . . . . . . . . . . .
AudioNotebook の概観とシステム構成 . . . . . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
4
5
5
6
8
9
9
3.1
3.2
3.3
3.4
3.5
3.6
3.7
3.8
3.9
3.10
3.11
3.12
3.13
3.14
遠隔会議システム Agora . . . . . . . . . . .
半共有領域の概要 . . . . . . . . . . . . . . .
書画カメラ領域の概要 . . . . . . . . . . . .
録画・再生システムの概要 . . . . . . . . . .
システムの利用イメージ . . . . . . . . . . .
記録モード時のメモアプリケーション . . . .
再生モード時のメモアプリケーション . . . .
メモ情報のデータ形式 . . . . . . . . . . . .
ペンストロークの再現 . . . . . . . . . . . .
ズーム機能付き書画カメラシステム . . . . .
SONY EVI D-100 概観 . . . . . . . . . . . .
キャリブレーション . . . . . . . . . . . . .
時間差を考慮したシステムの使用例 . . . . .
メモとメモに関する話し合いの時間的な関係
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
11
12
12
13
13
14
14
16
18
20
21
22
24
25
4.1
4.2
4.3
4.4
4.5
4.6
4.7
Toulmin の議論モデルにおける基本的 3 要素
蓋然的議論における Toulmin の議論モデル .
分類したメモ内容 . . . . . . . . . . . . . . .
キャプチャして利用された資料の例 . . . . .
同時発話の例 . . . . . . . . . . . . . . . . .
同時発話とみなす 2 発話の時間的な関係 . .
再生開始時刻決定手法の概要 . . . . . . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
26
27
29
30
31
32
33
iii
4.8
トピック提示ウィンドウの概観 . . . . . . . . . . . . . . . . . . . . . . . . .
35
5.1
5.2
5.3
5.4
5.5
5.6
同時発話システムを用いた時の再生地点候補の例 . . . . . . . . . .
メモ時刻システムを用いた時の再生地点候補の例 . . . . . . . . . .
A 組の話し合いを素材とした第三者によるレポート作成課題の結果 .
B 組の話し合いを素材とした第三者によるレポート作成課題の結果 .
A 組の話し合いを素材とした本人によるレポート作成課題の結果 . .
B 組の話し合いを素材とした本人によるレポート作成課題の結果 . .
37
37
41
41
43
43
iv
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
第1章
はじめに
1.1 研究の背景
ネットワーク技術の発達に伴い, リアルタイム実画像通信技術を用いた遠隔地間でのテレビ
会議がより身近なものになってきている. これにより, 図 1.1 に示すような遠隔地にいる共同
作業者の顔の映像に加えて, 机の上などの作業領域の様子を共有しながら話し合いを行なうこ
とができるデスクトップ型の遠隔会議システムが普及し, 遠隔地間での日常的な話し合いを行
なう機会がより一層増加すると予想される.
Stults らは, Xerox PARC において, オフィス間を音声・実画像通信で接続し, 遠隔地に分散
した設計者の共同作業を支援しようとするという実験を行なった [1]. この実験を通じて彼ら
は, 会話や図面などの様々な作業過程や結果をビデオテープに記録することが可能であり, そ
の記録を見ることによって, たとえ, ある時点で会議に参加していなくても, 欠席してしまった
会議にあたかも参加していたかのように感じられるなど, 従来の対面対話にはないメリットが
生ずることなどを見出した. すなわち, 彼らはこの研究を通じて, メディアによって新たな空間
が形成され, 従来とは異なる作業形態が生み出されたことを見出している. 彼らは, この新た
な空間のことをメディアスペース (media space) と呼んだ.
本研究では, このようにメディアを介したコミュニケーションの中で生まれる新しい共同作
業形態に注目し, 日常的な遠隔ミーティングの記録・再生を支援するシステムの構築を行なう.
図 1.1: 本研究が支援する遠隔ミーティングのイメージ
1
1.2 研究の目的
本研究では, 少人数によるインフォーマルな遠隔ミーティングを研究の対象とする. 本研究
におけるフォーマルな話し合いとは, 会社で行われるような資料やスライド, そして議論の記録
を残しておく手段が十分に準備された会議とする. それに対して, インフォーマルな話し合い
とは, 話し合いに用いる資料がほとんど用意されていないか, もしくは未整理の資料を用いな
がら行なわれる話し合いと定義する. 例えば, 小規模な研究チームにおける研究に関するミー
ティングを想定するものとする.
本研究が取り扱うインフォーマルな話し合いでは, 話し合いの内容を記録しておく手段が話
し合いに参加している各個人のメモ程度に限られることが大半である. 話し合いの途中に資料
やノートに書き込まれたメモは, 話し合いの終了後に話し合いの内容を参照したり, 第三者に
報告したりする目的で作成される. しかし, 話し合いへの参加者は, 詳細なメモを取ることに
時間を割くことが難しいため, 過去に行なってきた話し合いの詳細な内容を思い出すことが困
難になるという問題点が考えられる. 本研究では, 映像メディアを用いた遠隔ミーティングを
取り扱うため, メディアを介したコミュニケーションの利点を生かし, 常に撮影されている作
業者の映像を蓄積することでこのような問題点を解決する.
話し合いの様子を撮影した映像には, 話し合いにおける全ての情報が含まれている. しかし,
そのデータ量は膨大なものになり, ビデオのような連続情報から必要な部分を探し出すことは
容易ではない. そこで, 同時発話が発生する場面を再生開始時刻の候補として提案するシステ
ムを構築することで, ユーザに負担を掛けることなく短時間で適切な場面をユーザに提供する
ことのできる機能を実現することを本研究の目的とする.
1.3 本研究の構成
本論文は, 全 7 章より構成されている. 第 1 章では, 研究の背景や目的について述べる. 続く
第 2 章では, 本研究が取り扱うインフォーマルな遠隔ミーティングにおける問題点や特徴につ
いて議論し, システム開発の方針を述べる. 加えて, 本研究に関連するいくつかの先行研究に
ついて述べる. 次に, 第 3 章では, 第 2 章で議論した問題点を解決するために構築した遠隔ミー
ティングの記録および再生を支援するシステムの概要を解説し, 予備実験を通じて発見された
初期のシステムの問題点を述べる. 第 4 章では, 予備実験で発見された問題点を解決する同時
発話現象に注目した再生開始時刻決定手法を提案し, システムへの実装方法について述べる.
第 5 章では, 第 4 章で述べた手法を実装したシステムの評価実験と実験結果について述べ, 第
6 章で, その結果について考察し, 今後の展望について述べる. 最後に, 第 7 章では全体のまと
めを行なう.
2
第2章
インフォーマルな話し合いにおけるメモ
の特徴
本章では, 本研究が取り扱うインフォーマルなミーティングにおける問題点や特徴について議
論し, システム開発の方針を述べる. また, 本研究に関連する先行研究について述べる.
2.1 旅行計画立案実験
インフォーマルなミーティングについて調査する目的で, 旅行計画を立案させる実験を行
なった. この実験は, 対面対話形式で行なわせた. ここでは, 実験の設定を述べた後, 実験での
成果物や実験の様子を撮影したビデオを観察した結果からインフォーマルな話し合いにおけ
る問題点や特徴について議論する.
2.1.1 実験設定
実験の設定として, ある程度詳細な資料を使いながら, 複数日間に渡ってお互いの意見を述
べあう話し合いの場を想定した. 被験者は 2 人 1 組であり, 彼らの所属するグループのための
旅行を提案するという想定で, 旅行計画の立案と資料作成を行なわせた. 資料として, ツアー
や観光地の情報が掲載されたパンフレットを実験前日に渡しておき, 各自あらかじめ下調べを
させた. 実験時間は, 1 日 30 分, 2 日間で合計 1 時間とし, この時間内に資料を作らせた.
下調べの段階では, 各被験者が各々の意見を主張しあうことのできる環境を作るために一人
は九州方面, もう一方は北海道方面のように調査をする方面の担当を分担させた。また, 実験
時間内に議論をさせるため, 下調べの段階で共同作業者との話し合いを行なうことを禁じた.
資料の作成に関しては現実的でグループの全員が納得するものを作成するようにとだけ被験
者に指示し, 資料や時間の使い方は限定せず自由に意見をまとめさせた. 実験には筑波大学の
大学院生 2 組 4 人が参加した.
2.1.2 実験結果と考察
ここでは, 実験の結果を 2 日目の作業においてメモの詳細な内容を忘れてしまった場面と,
相手の資料をのぞき込んだり資料を再利用してメモを取ったりするといった作業者が話し合
いを進めていく様子の 2 つに分けて述べる.
3
メモ内容の忘却
実験の結果, 過去に書き留めておいたメモの内容を忘れてしまうという場面が確認された.
図 2.1 にそのメモの例を挙げる. このメモは 1 日目の作業終了直前に作業者が興味のあるペー
ジを発見し, 次回の作業時にそのページを容易に参照できるようにページ番号を書き留めてお
いたものである. しかし, 2 日目の作業において 2 人の作業者ともに, この数字の意味を理解す
ることができなかった. この例はメモが直接示す内容, すなわちページ番号という意味を忘れ
てしまった例であるが, その他に, 話し合いでの決定事項を書き留めておいたにも関わらず, な
ぜその決定を行なったかといったそのメモの背景にある理由などを忘れてしまった場面も確
認された. 長期間に渡って行われ, より複雑な資料を用いるといった条件下ではこのような場
面が多数発生することが予測される.
インフォーマルな話し合いでは, 話し合いの内容を記録しておく手段が, 話し合いに参加し
ている各個人のメモ程度に限られることが多い. しかし, 参加者は, 話し合いの途中で詳細な
メモを書き留めておく時間を割くことが難しいため, 過去に行なった話し合いの内容を思い出
すことが困難になると考えられ, 適切な支援が必要であると考えられる.
図 2.1: 詳細を忘れてしまったメモ
作業者が話し合いを行なう様子
実験の様子を撮影したビデオ映像を観察した結果, 被験者らが話し合いを進めていく過程に
おいて次のようなことが確認された.
まず, 作業者らが資料を参照する様子について述べる. 話し合いを開始するにあたって, まず
被験者らはお互いが調査してきた内容について議論を行い, 関連のある資料を互いに提示した.
提示された資料で興味のある資料, 特に初めて見ることとなる相手の資料に関して図 2.2 のよ
うにのぞき込んだり, 手元に取ることでより詳細に資料の内容を確認した. 興味を持ち, より
詳細に参照された資料に関してはさらにお互いの意見が述べられ, 議論の中心となる場面が確
認された. このような場面から, 資料をのぞき込んだり, 手元に取るという行為には相手に自
分の興味の対象を示し, 議論の中心を誘導させる作用があると考えられる. 本研究が取り扱う
インフォーマルな話し合いでは, 話し合いに用いる資料が一方にしか用意されていないことが
4
考えられる. 対面対話においては共同作業者に資料を手渡すことができるが, 遠隔ミーティン
グにおいては紙のような実物体の資料を瞬時に手渡すことは不可能である. そこで, 遠隔地の
共同作業者のみが持っている資料に対してのぞき込んで詳細に資料を見ることができる機能
が必要であると考えられる.
次に, 実験での成果物について述べる. 資料として与えたパンフレットとメモとを比較した
ところ, 図 2.3 のようにパンフレットの内容をほぼそのまま利用した部分が確認された. この
ような資料の使われ方から, 作成されるメモは手元にある資料の中から必要な要素を探しだ
し, その資料を再構成したり, コメントを加えたりすることで作成されると考えられる. イン
フォーマルな話し合いで用いられる資料の大半は, 紙を媒体とする情報であると考えられる.
そこで, 手元にある資料に加えて遠隔地にしか用意されていない資料に対してもコメントなど
のメモを書き込むことができる機能が必要であると考えられる.
図 2.2: 資料を詳細に参照する様子
図 2.3: 資料と作成されたメモ
2.2 記憶過程におけるコミュニケーションの役割
高取は, 記憶過程におけるコミュニケーションの役割を検討するために個人再生と共同再生
の比較研究を行なった [2]. ベルトヒト・ブレヒトの詩「死んだ兵隊の伝説」を記憶材料とし,
個人再生群では, 1 分間詩を黙読しながら記憶し, 次の 2 分間で口頭で再生するということを,
共同再生群では, 1 分間個別で記憶した後, 次の 2 分間は 2 人でコミュニケーションを行ないな
がら再生するということを, 1 回完全再生の基準に達するまで行わせるという実験を行なった.
実験の結果, 共同再生は個人再生よりも優れていることを明らかにしたが, それは図 2.4 の
ように学習過程前半部分において特に顕著であったとしている. また, コミュニケーションの
分析を通じて, 共同再生においては, 焦点ストラテジが行なわれていることを明らかにした. 焦
点ストラテジとは, 2 人の被験者が確実に記憶している箇所を再生し, 次にお互いの欠落箇所
を共同探索の焦点として試行を繰り返すうちに, 徐々に焦点を絞りこみ問題を解決すると言う
方略である. すなわち, 共同再生においては, コミュニケーションに媒介されて問題点（この場
合, 記憶していない部分）が発見され, その問題を共同探索の努力の焦点とすることによって
5
暫次問題解決がなされるが, 同時にそれは再生水準の上昇過程であるとしている.
図 2.4: 高取の実験における個人再生と共同再生の学習曲線
2.3 システムの開発方針
話し合いの記録を残しておく手段として, 話し合いの途中に配布資料やノートに書き留めら
れたメモがある. 話し合いの中で書き留められたメモは, 話し合いの終了後に, 話し合いの内
容を参照したり, 第三者に報告したりするために残されるものである. また, このようなメモ
は, 作業者が必要性や重要性を判断した上で書き留められるため, 検索のしやすさや情報の一
覧性に優れている. しかし, 2.1 で議論したように, インフォーマルな話し合いにおいては時間
的な制約などから詳細なメモを残しておくことが難しいため, 過去に書き留められたメモの詳
細を忘れてしまうという問題がある.
一般的に, このような問題を解決するため, ビデオカメラや IC レコーダを用いて, 議論参加
者の動作や発言内容を, 映像や音声を用いて記録することが多い. これらの情報を必要な時に
参照することで, 詳細な内容を思い出すことができる. 本研究が取り扱う, インフォーマルな話
し合いでは, 作業者が指示対象物に対して指さしを行ないながら「この」や「あの」といった
指示代名詞を用いて指示をしたり, 物の大きさや作業の方向などを言葉とともにジェスチャを
交えて説明したりすることが考えられる. このような場面においては, 音声のみの提示では過
去の作業内容を想起することが困難であると考えられるため, 本研究では, 音声と映像の両方
を記録しておくものとする.
しかし, 映像や音声といった情報は, 完全かつ正確ではあるが, データ量が膨大であるため必
要な情報を検索することは容易ではない. また, ビデオのように単純に記録した場合, これら
の情報は切れ目のない連続情報となる. このような情報は, 一覧性がなく必要な部分を明確に
6
切り出すことが難しいため, 適切な情報を得ることは困難である.
ここまでに議論した「メモや資料」と「映像や音声」の話し合いの内容を参照する手段と
しての長所, および短所をまとめると表 2.1 のようになる.
以上のような議論から, 本研究では, 検索のしやすさや情報の一覧性に優れるメモを介して,
データの完全性や正確性に優れている話し合いの様子を撮影した映像から必要な場面を短時
間で参照することのできるシステムの開発を行なう. その際, メモを取るノートは近い将来タ
ブレット PC や電子ぺーパーに置き換わるものと想定し, 話し合いの内容に関するメモは, デ
スクトップ PC に接続された液晶ディスプレイ一体型タブレット上に書き留めるものとする.
また, システムは特に 2.2 で述べたように, 焦点ストラテジを行なうことが難しいため問題解
決が困難である個人再生を行なう場, すなわち過去に行なった話し合いの内容を一人で参照す
る場面を支援する.
加えて, システム構築の際には, 2.1 の調査実験において観察された手元の資料から必要な部
分を切り出してくるという資料の使われ方や書類をのぞき込んで詳細に参照するという作業
者の行動を考慮する. さらに, システム構築後も実験を繰り返すことで有用性や問題点を確認
し, よりよいシステム構築を目指すという段階的なシステム開発を行なう.
システムの開発方針のまとめ
ここまでに述べたシステムの開発方針をまとめると以下のようになる.
• メモをインデックスとして, 蓄積した映像から再生する場面を検索する.
=⇒ メモはデータの検索のしやすさと一覧性, 映像はデータの完全性と正確性に優れる.
• システムは, 過去に行なった話し合いを一人で参照する場面を支援.
=⇒ 一人で想起する場面では, 焦点ストラテジが困難.
• 資料の使われ方や参照のされ方といった作業者の行動を考慮する.
• 実験を繰り返し, 段階的なシステム開発を行なう.
表 2.1: 主な議論内容参照方法における長所と短所
+ : 優れている
− : 劣っている
検索のしやすさ
データの一覧性
データの完全性
データの正確さ
映像や音声を参照
メモや資料を参照
−
−
+
+
+
+
−
−
7
2.4 関連研究
本節では, 本研究に関連する以下の 3 つの先行研究について述べる.
• NoteLook
• ReSPoM
• AudioNotebook
Chiu らが開発した NoteLook[3] の概観, およびシステム構成を図 2.5 に示す. NoteLook は, 会
議室に設置されたビデオの映像やプレゼンテーションに用いられたスライドのスナップショッ
トに対して, 手書きメモを書き加えることのできるシステムである. ユーザは, 様々な視点か
ら撮影された会議室の様子やプレゼンテーションに用いられたスライドの映像を適宜選択し,
そのスナップショットやノートに対してメモを書き加えていく. スナップショットは, 手動でボ
タンを押して取得する機能に加えて, 一定時間おきに自動的に取得する機能を備えている. こ
のシステムでは, 音声情報とともに映像情報を蓄積し, 時刻情報を介してメモとのこれらの情
報との関連付けを行なっている. NoteLook では, メモを取るという自然な行為をトリガとして
いるため, ノートを書き留めた作業者個人個人に対してパーソナライズされたインデックスと
して有効であり, さらに利用者に負担を掛けることなく過去の映像を参照するためのインデッ
クスを付けることができるという利点がある.
図 2.5: NoteLook の概観とシステム構成
倉本らは, 会合情報記録検索システム ReSPoM[4] を開発した. 図 2.6 に ReSPoM の概観を
示す. ReSPoM では, 議論の記録として音声のみを蓄積している. このシステムは, 記録イン
タフェースと検索インタフェースから構成され, 記録インタフェースでは紙上の環境と同じよ
うに資料やノートに対してメモを書き込むことができるようになっている. また, 記録インタ
フェースでは, 会合参加者の発話状況をグラフ状に可視化することで, 会合参加者が明示的に
メモや資料とそれに関連する発言との関連付け (リンクの作成) ができるようになっている. 検
索インタフェースでは, このリンクを用いることで, 資料やメモを介して目的の発話を参照す
8
ることができるようになっている. このような手法を採用することで, メモとそのメモのもと
になる発話との確実な関連付けを行なうことができるが, 関連付け作業に傾注する必要がある
ため発言がやりにくかったという問題点が報告がされている.
図 2.6: ReSPoM の概観
Sifelman らは, 実際のノートに書いた文字と音声とを関連付けることができる AudioNotebook[5]
を開発した. 図 2.7 に AudioNotebook のシステムの概観とシステム構成を示す. このシステム
では, タブレットに載せたノートの上にメモを書くことで, ユーザがメモを書くペンの動きを
リアルタイムに保持するとともに, 周囲の音声を記録することができるようになっている. ま
た, 簡単なバーコードを用いることで開いたノートのページを認識することができる. このシ
ステムは, 大学の講義において活用され, 受講者がメモを取ると自動的に講師の話した音声と
の関連付けを行ない, 後から受講者がメモをもとに講師が授業で話した音声を参照すること
が可能になっている. さらに, “now”,”so”,”but” や”okay” といった言葉を話題の転換点を示す
キーワードとして認識することで, トピックを提案する機能を搭載している. 彼らの行なった
フィールドワークを通じて, ユーザがボタンを押したり印を付けたりするなどといった明示的
な操作をすることなく記録した音声の分割を行なうことが重要であるとしている.
図 2.7: AudioNotebook の概観とシステム構成
9
本研究では, ユーザが話し合いの途中に書き留めたメモを介して, 話し合いの様子を記録し
た映像や音声を再生するというこれらのシステムの利点を活用したシステムを開発した. これ
により, ユーザに負担を掛けることなく蓄積した映像にインデックスを付けることができる.
さらに, 本研究では Toulmin が提唱した議論モデルや, 作業者らの議論におけるコミュニケー
ションの様子を観察した結果からメモを選択した時に提示すべき適切な場面を考察した点, そ
して複数の作業者らが同時に発話するという同時発話現象に注目し, 同時発話を検出して適切
な場面を自動的に推定する機能をシステムに実装した点でこれらのシステムとは異なる.
2.5 本章のまとめ
本章では, 旅行計画立案実験を通じて, 本研究が取り扱うインフォーマルなミーティングに
おける問題点や特徴について議論した. さらに, メモや映像といった話し合いの記録を残して
おく手段の長所や短所について議論した. これらの議論から, 話し合いの途中で書き留められ
たメモをインデックスとして, 蓄積した映像から再生する場面を検索することをはじめとする
システムの開発方針を決定した. 次章では, 本章で述べたシステムの開発方針に基づいて構築
した, 遠隔ミーティングの記録・再生を支援するシステムについて述べる.
10
第3章
遠隔ミーティングの記録・再生を支援す
るシステムの開発
本研究では, 第 2 章で述べたシステムの開発方針に基づき, 遠隔ミーティングの途中に書き留
められた任意のメモを選択すると, その時の映像を再生することのできるシステムを構築する.
また, 本研究では, インフォーマルな話し合いにおいて重要な作業者の身振りや手振りを支援
することのできる遠隔会議システム Agora[6] を遠隔ミーティングを行なう場とし, Agora の機
能を拡張することでシステムを構築する. 本章では, まずはじめに, Agora について説明し, 次
に, 遠隔ミーティングの記録・再生を支援するシステム, および, のぞき込みなどの行為を支援
するズーム機能付き書画カメラシステムの概要について述べる. 最後に, 開発したシステムを
用いて行なった予備実験について述べる.
3.1 遠隔会議システム Agora
遠隔会議システム Agora は, 図 3.1 に示す 3 つの部分から構成されている. このシステムは,
遠隔地にいる共同作業者を等身大で投影することが可能な正面のスクリーンに加え, 共同作業
者が実物体や文書を映像として共有しつつ相互に指さしが可能な書画カメラ領域と, 詳しい作
業内容までは分からないが, なんとなく作業内容を把握することのできる半共有領域を備えて
いる. これらの領域は, 正面のスクリーンに投影された遠隔地の共同作業者の画像との身体的
な位置関係を考慮して配置されているため, 視覚的な臨場感だけではなく, 作業者らの興味に
応じて変化する身体の向きを正確に表現することも可能となっている.
図 3.1: 遠隔会議システム Agora
11
3.1.1 遠隔作業者投影用スクリーン
60 インチの背面投影型スクリーン, または 50V 型のプラズマディスプレイを利用し遠隔地
の作業者を投影している. 遠隔地の作業者の様子は, スクリーン, またはプラズマディスプレイ
に取り付けられた小型カラーカメラによって撮影される. カメラの撮像範囲は, 作業者の手元
を含めた上半身全体が撮影されるように調整されている.
3.1.2 半共有領域
半共有領域とは, 机の右, あるいは左半分に用意された領域であり, VideoDraw [7] と同じ方
式を用いて実現している. この領域内の作業は机の上に設置されたカメラによって撮影された
カメラによって撮影され, 遠隔地の机の下に設置されたプロジェクタを用いて背面投影される.
同様に, 遠隔地の机の上に設置されたカメラによって, 遠隔地の半共有領域で行なわれた作業
が撮影され, ローカルな机に投影される.
半共有領域の大きさは幅 49cm× 奥行き 66cm であり, この領域を NTSC の解像度を持つカ
メラで撮影しているため, あまり詳細な画像は得られない. また画像のループバックを防ぐ目
的で挿入されている偏光フィルムの影響もあって詳細な書類の参照を行なうことは難しい. そ
のため, この領域はお互いの机の上での作業を大まかに観察するための領域とし, 資料をより
鮮明な画像で共有する作業は, 後述の書画カメラ領域で行なう.
3.1.3 書画カメラ領域
書画カメラ領域は遠隔地の作業者と資料などを共有することを目的として用意した領域で
ある. システムの基本構成は TeamWorkStation[8] と同じである.
この領域に置かれた資料は, 書画カメラ領域上方に設置された書画カメラによって撮影され,
その画像が遠隔地のシステムに転送される. また同様にして転送されてきた遠隔地の書画カメ
ラ領域の画像は, ローカルな書画カメラ領域の画像と合成され, 書画カメラ領域提示用ディス
プレイに表示される.
図 3.3: 書画カメラ領域の概要
図 3.2: 半共有領域の概要
12
3.2 遠隔ミーティングの記録・再生支援システム
図 3.4 にインフォーマルな遠隔ミーティングの記録・再生を支援するシステムの概要を示す.
このシステムでは, 作業者がメモを書くという行為をトリガとして, メモと録画した映像との
関連付けを行ない, ビデオ管理 PC に映像を蓄積する. 話し合いの記録として, Agora の顔画像
と書画カメラ領域の映像を蓄積している. 蓄積された映像を参照する際には, ユーザが任意の
メモを選択すると, 図 3.5 に示すようにメモを書き留めた時の映像が再生されるようになって
いる. このシステムは, 大きく分けて以下の 2 つの部分で構成されている.
• 描画情報管理 PC
• ビデオ管理 PC
本節では, それぞれの部分に分けて解説する. さらに, 再生を支援するために導入した機能に
ついても述べる.
図 3.4: 録画・再生システムの概要
図 3.5: システムの利用イメージ
13
3.2.1 描画情報管理 PC
描画情報管理 PC は, 主に以下の 2 つの機能の提供を目的とし, 各地点に 1 台ずつ設置され
ている.
• メモ・アプリケーションの提供
• メモ情報の管理
メモ・アプリケーションは, ユーザが話し合いを行ないながらメモを書き込んだり, 紙の資
料をキャプチャしてノートに貼り付けたりする機能や, 話し合いの中で書き込んだメモを介し
て蓄積した映像を再生する機能を提供するノート形式のアプリケーションである. メモ・アプ
リケーションは, あたかもノートの上にメモを書き込んでいる感覚で扱えるように, 描画情報
管理 PC に接続された Wacom 社製液晶ディスプレイ一体型タブレット PL-500 上に表示され
る. PL-500 の仕様を表 3.1 に示す. このタブレットは, X Window System でサポートされてい
るため, 容易にペンの位置を測定することができる.
メモアプリケーションは, 記録モードと再生モードの 2 つのモードを備えている. 図 3.6 に
記録モード, および図 3.7 に再生モードで起動した時の概観を示す.
ユーザが遠隔地の共同作業者と遠隔ミーティングを行なう場合は, メモ・アプリケーション
を記録モードで起動する. 記録モードで起動したメモ・アプリケーションでは, 通常のペイン
トソフトと同様に, タブレット上で通常のノートにメモを書く時のようにペンを動かすことで,
用意された 3 色の色を使って文字や絵を書き込んでいくことができるようになっている. また,
必要に応じて, 3.3 で述べるズーム付き書画カメラシステムに提示された資料をキャプチャし
てノートに貼り付けメモを書き加えたり, 新しい白紙を用意したりできるようになっている.
これら複数の紙は, ページ操作ボタンを使うことで, ページを送ったり戻したりすることがで
き, これにより表示するページを変更することができるようになっている.
図 3.6: 記録モード時のメモアプリケーション
14
図 3.7: 再生モード時のメモアプリケーション
表 3.1: Wacom 液晶ペンタブレット PL-500 仕様
項目
仕様
液晶パネル
駆動方式
表示サイズ
最大表示解像度
インタフェース
カラー TFT 方式
15.1 型 (306.2×230.4mm)
1024×768 ドット
DVI
タブレット
読取方式
読取可能範囲
読取分解能
読取精度
読取速度
読取可能高さ
筆圧レベル
インタフェース
電磁誘導方式 (電磁授受作用方式)
307.2 × 230.4 mm
最高 0.05mm
±0.5mm
最高 205 ポイント/秒
5mm
256 レベル
シリアル (RS-232C)
外形寸法 (W×D×H)
重量
414.0 × 365.5 × 51.0 mm
4.7 kg
15
メモ・アプリケーションを記録モードで起動した場合, 描画情報管理 PC は, ユーザがメモ
を書き込むという行為をトリガとして様々な情報を保持する. 具体的には, ノートに書き込ま
れたメモを形成する全てのストロークに関する座標と書きこまれた時刻, および使用していた
ペンの色情報を描画情報管理 PC に保持する. ストロークの座標データは, 100msec ごとにタ
ブレット上でのペン先の位置をサンプリングしたものである. また, 前のストロークから一定
時間内に書かれたストロークは, 同じ領域を構成するストローク群としてみなされる. 資料の
キャプチャを行なった時も同様に資料をキャプチャした時刻が保持される. このようにして取
得したメモ情報は, 図 3.8 に示すようなリスト構造を用いたデータ形式で保持している. 1 つの
セッションは複数のページから成り立ち, それぞれのページにはそのページ内に書かれた文字
や絵が領域の情報として保持されている. さらにそれぞれの領域は, その領域内の文字や絵を
構成する全てのストロークに関する情報を保持している. また, メモ・アプリケーションを起
動すると 3.2.2 で述べるビデオ管理 PC へ録画開始, メモ・アプリケーションを終了させると録
画終了の命令をすぐさま TCP で自動的に送信する.
過去に行なった話し合いの内容を参照したい場面では, メモ・アプリケーションを再生モー
ドで起動する. メモ・アプリケーションを再生モードで起動した場合, ユーザがメモ・アプリ
ケーション上に提示された過去の話し合いの中で書き込んだメモをペンでタップすることで,
タップしたメモに関連付けられている時刻の映像が再生される. また再生したいメモを選択す
る方法として, タップした場所を領域単位で判定する方法とストローク単位で判定する方法の
2 種類が用意されており, どちらか一方を選択して使用する. 領域単位で判定する場合は, タッ
プした位置がどの領域に属するかをリスト構造のデータをたどることで判断し, その領域のメ
モが書かれはじめた時刻の映像を再生するようにビデオ管理 PC へ命令を送信する. また, ス
トローク単位で判定する時は, どのストロークに触れたかを判定することで, そのストローク
が書かれた時の映像を送信するようにビデオ管理 PC へ命令を送信する.
メモ・アプリケーションは FreeBSD 上で C 言語, および GTK を用いて作成した.
図 3.8: メモ情報のデータ形式
16
3.2.2 ビデオ管理 PC
ビデオ管理 PC は, 以下の 2 つの機能の実現を目的としている.
• 映像の蓄積
• 映像の再生
ビデオ管理 PC は, 各地点に 2 台ずつ設置されており, 1 台は Agora の顔画像の蓄積と再生,
もう 1 台は書画カメラ領域映像の蓄積と再生を行なっている. 映像の蓄積や再生といった動
作は, 描画情報管理 PC から送られてきた命令に従い, 2 台のビデオ管理 PC が同期して行なう.
また, この PC には, Linux から制御が可能な BMK-Elektronik 社製ハードウェアリアルタイム
MPEG-2 エンコーダボードを搭載している. このエンコーダボードを用いることで, Agora の
顔画像, および書画カメラ領域の映像を 4Mbps 固定ビットレート, 解像度 640×480 の MPEG-2
形式に変換して蓄積している. 表 3.2 に使用した MPEG-2 エンコーダボードの仕様を示す. こ
のエンコーダボードを制御するソフトウェアは, Vine Linux 上で C 言語を用いて実現した.
また, 映像の再生にはフリーの再生ソフトである XINE を採用した. XINE は, インタフェー
ス部分とライブラリ部分から構成されるが, 安定性の観点からライブラリ, インタフェースと
もに, 安定版であるバージョン 0.9.13 を採用している. また, この再生ソフトは “play”, “stop”,
“seek” などの用意された 16 種類の命令を, 指定されたポート (デフォルトでは 6789 番ポート)
に TCP で送信することで, ネットワークを介して制御することができる.
表 3.2: kfir MPEG2 Encorder Board 仕様
項目
仕様
Video encorder chip
Video stream
Video stream types
Horisonal Video resolution
Vertical Video resolution
Video format
Audio format
Bit rate
Video Input
Audio Input
Size
KFIR VisionTech (MVision)
MP@ML 13818-2(MPEG-2), 11172-1(MPEG-1)
Video ES, PES, Program/Transport
720, 640, 544, 480, 360, 320, 160
(NTSC)480, 240, 112,(PAL)576, 288, 144
NTSC, PAL
MPEG-1 Layer I and II
1∼16 MBits/s variable and constant
S-Video, Composite(BNC)
Unbalanced Stereo
Half PCI (175mm×105mm)
17
3.2.3 再生を支援する機能
蓄積した映像の再生を支援する機能として, メモ・アプリケーションの再生モードでは次の
2 つの機能を搭載している.
• 映像の飛ばし読み (スキム) 機能
• ペン・ストローク再生機能
記憶に関する研究では, 多くのきっかけが存在するほど過去の記憶を想起し易くなることが
知られている [9]. さらに, 我々が作業を行なう際, 作業内容といった主となる記憶とともに, 作
業を行なった場所や作業に用いた物体の位置関係等の作業環境の状況が, いわゆるエピソード
記憶として自然に覚えられていることが知られている [10]. 実際に, Margery らの Video Diary
System を用いた実験では, 提示した映像中の本やファイルケースの色や形といった作業時の
特徴となる情報が, その時の詳しい状態を想起するきっかけとなったという報告がされている
[11]. これらの研究を踏まえ, 「黄色のファイルケースを使っていた場面」といった記憶から
目的の映像部分を探したり, 逆にこのような特徴のあるシーンを見ることで関連する作業内容
を思い出したりできるように, メモ上で素早くペンを移動させることで, 蓄積したビデオ映像
を飛ばし読みできるようになっている.
また, 蓄積している全てのペン・ストロークの情報を用いることで, 単に映像を再生するだ
けではなく, その時のペン・ストロークも同時に再現することができるようになっている. 図
3.9 に示すように, 再生中のストローク群は薄い文字となり, メモを書き留めた時と同じ書き
方, 同じスピードで文字が再現される. ペン・ストロークを再現することは, 現在再生されてい
る時刻をユーザに認識させるためのタイムラインの役割を果たすとともに, メモを書き留めた
時の書き方を見ることで連想記憶をたどることを支援できると考えられる.
図 3.9: ペンストロークの再現
18
3.3 ズーム機能付き書画カメラシステム
ズーム機能付き書画カメラシステムは, 2.1 で述べた相手の資料をのぞき込んで詳しく参照
したり, 手元の紙の資料から必要な部分を抜き出してメモとして再利用するという行為を支援
する目的で構築した. ここでは, ズーム付き書画カメラシステムの概要を述べ, カメラのキャリ
ブレーション手法について説明する.
システムの概要
Agora の書画カメラにカラービデオカメラ EVI D-100(以下 D100 と呼ぶ) を採用することで,
撮影する領域のパン・チルト, およびズームを可能にした. カメラの撮影範囲は書画カメラ領
域上に限定される. 書画カメラ領域の広さは A3 サイズの紙と同様の大きさ (幅 420mm, 高さ
300mm) であるため, カメラを書画カメラ領域上方約 1.2m の地点に設置した場合, 稼働範囲は
幅方向に ± 約 10 度, 高さ方向に ± 約 7 度に限定される. D100 の可動範囲はパン方向 200 度
(±100 度) チルト方向 50 度 (±25 度) であるため, D100 を机の上方約 1.2m の位置に設置する
ことで, 書画カメラ領域を十分にカバーすることができる.
また, 直感的な操作でカメラを制御できるように, 遠隔地の書画カメラ領域を提示するディ
スプレイをタッチパネルとし, より詳細に参照したい部分を図 3.10 のように指で触ることでカ
メラをその領域へ向け, ズームさせることが可能になっている. タッチパネルの仕様を表 3.3,
D100 の概観を図 3.11, 仕様を表 3.4 に示す. このカメラは, ユーザがタッチパネルを一定時間触
れると動作するようになっている. また, 書画カメラ領域を提示しているディスプレイの端に
ズームに関するステータスウィンドウを用意し, 「ズーム中」や「ズーム解除中」といった表
現でカメラのズーム状態について表示している. 同時に, このステータスウィンドウにはズー
ム機能についての簡単な使用方法も提示している. ステータスウィンドウはズーム解除ボタン
にもなっており, ズーム中にユーザがこのステータスウィンドウを指で触れると, ズームを解
除できるようになっている. また, ズーム中は画面を指でなぞることで, 相対的にカメラをパ
ン・チルトさせ詳細に撮影する領域を上下左右に動かすことができる. このようにして撮影さ
れた領域は, メモ・アプリケーションのキャプチャボタンを押すことでメモ・アプリケーショ
ン内に取り込み, さらに文章を書き足したりすることができるようになっている.
従来の Agora では, 遠隔地の資料を参照するために書画カメラとして DV カメラを用いてい
た. この場合, MS ゴシックで約 18pt とやや大きめの文字に関しては十分認識することができ
るが, より小さな文字に関しては相手に読み上げてもらうなどの何らかの支援が必要となる.
実際に, 従来の Agora を用いた実験では遠隔地の共同作業者が資料の内容を確認することがで
きなかったため, 手元にある書類を持ち上げてカメラに近づけ, 何とかして共同作業者に見せ
ようとする行動が確認されている. 今回, D100 を導入することで MS ゴシックで約 12pt まで
の文字であれば十分認識することができるように改善された.
一方, 映像の転送方式は従来の Agora と同様であるため, ズームを行った映像は遠隔地の共
同作業者側にも反映される. これにより, ズームという動作を通じて遠隔地の共同作業者に自
分の興味を持っている領域を示すことができると考えられる.
19
図 3.10: ズーム機能付き書画カメラシステム
表 3.3: Touch Panel Systems LCD タッチパネル 9418TD18 仕様
項目
液晶パネル
検出方式
分解能
検出モード
インタフェース
通信速度
タッチ応答速度
仕様
18.1 型カラー TFT
超音波表面弾性波方式 (Surface Acoustic Wave)
X および Y 軸
: 0∼4095
Z軸
: 0∼254
タッチ + 連続 + デタッチ
RS-232C (EIA232 準拠) DCE 接続
速度
: 9600bps (出荷時標準)
データ長
: 8 ビット
ストップビット : 1 ビット
パリティ
: なし
既定値
: 平均 19ms/データ
最高値
: 平均 12ms/データ
20
図 3.11: SONY EVI D-100 概観
表 3.4: SONY カラービデオカメラ EVI-D100 仕様
項目
映像信号
映像素子
レンズ
水平解像度
映像 S/N 比
パン・チルト機能
映像出力
S 映像出力
コントロール入/出力端子
最大外形寸法
質量
仕様
NTSC カラー JEITA 標準方式
1/4 インチカラー CCD
総画素数:約 41 万画素
有効画素数：約 38 万画素
光学 10 倍, デジタル 40 倍
f=3.1 ∼ 31mm, F1.8 ∼ F2.9, 水平画角 6.6 度 ∼ 65 度
470TV 本 (WIDE 端)
50dB
水平 ±100 度, 最大速:300 度/秒
垂直 ±25 度, 最大速度:125 度/秒
5/72 (0.07) 度単位で動作
ピンジャック (1), 1Vpp, 75Ω 不均衡, 同期負
4 ピンミニ DIN (1)
RS-232C (各 1), 8 ピンミニ DIN
9600bps, データ 8 ビット, ストップ 1 ビット
113×120×132 mm ( 幅 / 高さ / 奥行き )
860 g
21
キャリブレーション
図 3.12 に示すようにタッチパネルを押した場所を中心として, 相手の書画カメラ領域をズー
ムできるようにキャリブレーションを行っている.
図 3.12: キャリブレーション
本来は D100 が撮影する範囲の中心の座標軸, すなわち D100 の光軸の座標軸、書画カメラ
領域の座標軸、そしてカメラ系の座標軸と 3 つの座標軸が存在するが, ここでは D100 の光軸
の座標軸と書画カメラ領域座標軸は同一のものと仮定する. タッチパネル上の座標 (X, Y ) と
D100 の光軸の座標 (x, y, 0) を対応させるには, タッチパネル上での座標系に対し, ある並進・
回転運動による透視変換を行う必要がある. 撮影範囲の中心の座標系は三次元座標系である
が, 書画カメラ領域に提示されるものは紙であると考えるとその高さは無視してよいので常に
z = 0 の平面を撮影しているものと考えることができる. このとき, 両者の間には
X=
a1 x + a2 y + a3
a7 x + a8 y + 1
(3.1)
Y =
a4 x + a5 y + a6
a7 x + a8 y + 1
(3.2)
という関係がある. ここで a1 , . . . , a8 は未知の係数で, カメラの外部パラメータ (位置や方向)、
および焦点距離などの内部パラメータである。未知数の数は 8 個なので, タッチパネル座標系
に対応する D100 の光軸座標上の点を 4 つ求めればこれらの未知数は歴本らの示した方程式
[12] を解くことで求めることができる.
22
即ち,



X1
x1

 
 X2   x2

 
X  x
 3  3

 
 X4   x4

 
Y = 0
 1 

 
 Y2   0

 

 
 Y3   0
Y4
0
y1
y2
y3
y4
0
0
0
0
1
1
1
1
0
0
0
0
0
0
0
0
x1
x2
x3
x4
0
0
0
0
y1
y2
y3
y4
0
0
0
0
1
1
1
1
−X1 x1
−X2 x2
−X3 x3
−X4 x4
−Y1 y1
−Y2 y2
−Y3 y3
−Y4 y4


−X1 y1
a1
 
−X2 y2   a2 
 
 
−X3 y3 
  a3 
 
 
−X4 y4 
  a4 


−Y1 x1  
 a5 
 
 
−Y2 x2 
  a6 
 
−Y3 x3   a7 
−Y4 x4
a8
となる.
実際のキャリブレーションでは, 書画カメラ領域に 4 点の印を書いた紙を置いておき, はじめに
その印の上を触れることでタッチパネル上の座標座標 (X1 , Y1 ), (X2, Y2 ), (X3, Y3 ), (X4, Y4 ) を取
得する。次に, 印がディスプレイのちょうど真ん中に見えるようにカメラをパン・チルトさせ再び
画面を触れることで, これらの 4 点に対応する D100 上の座標 (x1 , y1 ), (x2, y2 ), (x3 , y3 ), (x4, y4 )
を取得する.
これらの座標を用いて連立一次方程式を解くことで未知数 a1 , . . . , a8 を求める. 計算には
ガウス消去法を用いる. 次に, ここで求まった a1 , . . . , a8 をもとに, タッチパネル上での座標
(X, Y ) を D100 座標系での座標 (x, y) に変換する. 式 (3.1),(3.2) を変形すると以下の式になる.
x=
(Y − a6 )(a8 X − a2 ) − (X − a3 )(a8 Y − a5 )
(a7 X − a1 )(a8 Y − a5 ) − (a7 Y − a4 )(a8 X − a2 )
(3.3)
y=
(Y − a6 )(a7 X − a1 ) − (X − a3 )(a7 Y − a4 )
(a8 X − a2 )(a7 Y − a4 ) − (a8 Y − a5 )(a7 X − a1 )
(3.4)
この式により, タッチパネル座標系 (X, Y ) に対応する D100 座標系 (x, y) を求めることがで
きる. これらのソフトウェアは FreeBSD 上で実現した.
23
3.4 予備実験
システムを実際に使用する上での問題点を明らかにするために, 簡単なディスカッションを
行わせた. 本節では, 被験者らから得られた意見やシステムの利用方法などからシステムの利
点, および問題点について議論する.
3.4.1 実験設定
実験は 2 人 1 組で 2 日間に渡って行なわせた. 1 日目の作業後 3,4 日経過した後に, 2 日目の
作業を行なわせた. 作業の内容は, 1 日目に研究内容や今後の研究方針に関してディスカッショ
ンを行ない, 2 日目にそのディスカッションの内容に関して想起するというものである. 作業
時間は 1 日あたり 30 分ずつ, 合計 1 時間程度とした.
3.4.2 実験結果と考察
システムを利用した被験者から, 本システムを用いる利点として, 議論に集中することがで
きるという意見が得られた. この意見では, じっくりと相手の話を聞かなければ話の内容を理
解できないような場面や, 議論が白熱してメモを書き留める時間を割くことが難しいような場
面が引合いに出された. このような場面において, 後から議論の内容を参照することができる
という安心感から, 簡単なメモを取る程度で済ますことができ, 議論に集中することができる
という意見である. その他に, ペン・ストロークの再現は, フローチャート等のような描いた手
順が重要視される図やメモの理解を深めることができるという意見が得られた. 一方で, シス
テムの機能を生かし, 重要な議論を行なっていると感じた時に, 短い文章や, 丸や星印といった
簡単な印をわざと書き留めておくことで, 後日参照する際のインデックスにすることができる
というシステムの使用方法が提案された.
図 3.13: 時間差を考慮したシステムの使用例
被験者がシステムを利用する様子を観察した結果, 興味深いシステムの使用方法が確認され
24
た. 図 3.13 のメモにおける例を示す. ある被験者は 2 日目の作業時に, 図 3.13 中の「黄色い領
域」に関する会話内容について想起したかった場面で, 「黄色い領域」のメモ部分をタップす
るのではなく, 一つ前の文章をタップすることで目的の映像を参照することを試みていた. 作
業後, この作業者に理由を尋ねたところ, 自分がメモを書き留めた時間と実際にそのメモの内
容に関して話し合いを行なった時間との時間差を考慮し, あえて少し前のメモをタップしてい
たと答えた. このような行為から, この場面において, 作業者は, 図 3.14 に示すように相手との
話し合いがある程度まとまった後にメモを書き留めていたと考えられる. すなわち, メモとメ
モを書き留めるという行為を誘発した発話との間には, 時間的なずれがあると言える. この時
間的なずれに対応するためには, どのような内容のメモがどのタイミングでどのような意味を
持って行なわれるかを調査し, メモと参照すべき場面の関係を明らかにする必要があると考え
られる.
図 3.14: メモとメモに関する話し合いの時間的な関係
次章では, この予備実験で明らかになった, メモとメモのもととなる発話との時間的なずれ
を解決するために, Toulmin の議論モデルからメモとメモに関連する場面との関係を考察する.
次に, この考えに基づいて, 同時発話現象に注目した映像の再生開始時刻決定手法を提案し, さ
らにシステムへの実装方法について述べる.
25
第4章
作業者の発話行動による再生開始時刻の
検討
本章では, 第 3 章の予備実験で明らかになったメモが書き込まれた時刻とその内容について話
し合っている時刻との時間差を解決する手法を提案する. まずはじめに, Toulmin の議論モデ
ルを紹介する. 次に, 作業者が話し合いの中でどのような内容のメモを残すのかを調査した実
験と併せて, 蓄積した映像の再生すべき場面を検討する. 最後に, 同時発話現象に注目した映
像の再生開始時刻の候補を決定する手法を提案し, システムへの実装方法について述べる.
4.1 Toulmin の議論モデル
議論において自分の意見を述べたり, 他人の意見を否定しようとする時, たいていの場合,
我々は自分の主張が無根拠でないことを示すため, 主張を裏付けるような理論や事実を提示す
る. 多くの場合, 我々は, 1 つ, あるいは 1 組の根拠となるべき事柄から, 結論を導き出す. イギリ
スの分析哲学者 Stephen Toulmin は, 結論を導き出すための直接の証拠を「根拠 (Data)」, デー
タから導き出される結論を「主張 (claim)」と名付けている [13].
一般的に, 主張が根拠の同義反復語, またはそれに等しい物であれば, その主張は全く意味を
持たない. 例えば, 「今日は晴れています. なぜなら晴天だからです. 」という表現は, 厳密に
正しいものではあるが, 内容的には全く意味のないものである. すなわち, 我々が生産的な議論
を行なうためには, 既知の根拠から推論上の飛躍を伴って結論を導くことが必要である. そし
て, もし必要であれば, この推論上の飛躍が無謀ではないこと, 十分に理にかなっていることを
示さなければならない. 議論のこの部分を, Toulmin は「論拠 (Warrant)」と名付けている.
Toulmin は, 議論とはこれまで述べてきたように「根拠」「主張」「論拠」の 3 つの部分から
構成されているとしている. これら 3 つの部分の関係を図示すると図 4.1 のようになる.
図 4.1: Toulmin の議論モデルにおける基本的 3 要素
26
また, Gilovich は, 後付けであればどんな根拠であっても根拠の最も特異な部分を見つけて,
そこだけに都合のよい統計的検定を施し, 自由に数値上の差をつくり出せること, そして後付
けで根拠を解釈すると偶然の要因を正しく評価できないことを指摘している [14]. すなわち,
根拠にはそれ自身に内在する意味はなく, 根拠の意味は論拠に依存し, 論拠は根拠から独立で
あるといえる. つまり, 根拠に意味を付与することが, 論拠の役割である [15].
一方, 足立は, 我々が行なう議論を必然的議論と, 蓋然的議論の 2 つに分類している [16]. 必
然的議論とは, Toulmin の議論モデルにおいて, 根拠から論拠を経て主張へと至るプロセスが
必然的であるものとしている. それに対して, 真, もしくは蓋然的な根拠に基づき, 完全とはい
えない論拠によって, 主張の蓋然性 (もっともらしさ) を正当化しようとする議論を蓋然的議論
としている. 我々の行なう議論のほとんどは, 足立の言う蓋然的議論であると考えられる.
蓋然的議論において, Toulmin は「裏付け (Backing)」「限定語 (Qualifier)」「反証 (Rebuttal)」
の 3 つの要素を用いることで, 自分の議論の信用できる度合を提示しておくことを提案してい
る. 例を添えた蓋然的な議論における Tolmin の議論モデルを図 4.2 に示す.
蓋然的議論では, 論拠は真であることもあれば, 蓋然でしかないことが考えられる. そのた
め, 論拠が蓋然でしかない時, 論拠のの内容の確からしさを裏付けるための資料が必要になる
と考えられる. 議論のこの要素の部分が「裏付け」である. また, 蓋然的議論の定義から, 蓋然
的議論では根拠から論拠を経て必ずしも主張に到達できるとは言えない. そのため, 根拠から
論拠を経て主張へと到達するプロセスがどの程度確実かを明示する必要があると考えられる.
このような主張へと達することのできる程度を示すものが「限定語」であり, 主張へと到達す
ることができない例外となるケース, すなわち論拠の効力に関する保留条件が「反証」である.
図 4.2: 蓋然的議論における Toulmin の議論モデル
27
4.2 メモ内容の調査
作業者が話し合いにおいてどのような内容のメモを書き留めるかを調査する実験を行なった.
本節では, 実験設定について説明し, 作業者が実験において書き留めたメモの内容を Toulmin
の議論モデルにあてはめて分類した結果を示す. さらに, 実験結果から蓄積したビデオの参照
すべき場面を考察する.
4.2.1 実験設定
実験で用いた課題は「筑波大学キャンパス内交通ルールへの提言」と題した自転車を中心
とした学内の交通ルールの討論である. 2 人 1 組で, モデル地域とした第一学群地区における
交通問題を明らかにし, その問題点を解決するルールを提案させるという課題を与えた. 被験
者は筑波大学大学院生を中心に学生 6 組 12 名が参加した. 資料としてモデル地域内のペデス
トリアンデッキや駐輪場の様子を撮影した写真, および学内の地図を準備した. 1 回の議論に
要した時間はおおよそ 30 分であった.
4.2.2 実験結果と考察
ここでは, 話し合いの中で作業者が書き留めておいたメモを Toulmin の議論モデルに当ては
めて分類し, その結果から過去に行なった話し合いの内容が不明瞭になる理由について考察す
る. 加えて, ここで行なわせた話し合いにおいて, ユーザがシステムを利用する様子やシステ
ムの提供する機能の利用例について述べる.
メモ内容の分類
話し合いの中で作業者が書き留めたメモの内容を, Toulmin の議論モデルに当てはめて分類
したグラフをを図 4.3 に示す. 「問題点」といったメモのタイトルにあたる部分などはその他
の項目に分類した. グラフにおけるアルファベットは話し合いを行なったペアを表しており,
A1 は A 組として話し合いを行なった被験者 1, A2 は同じく A 組として A1 とペアになって議
論を行なった被験者 2 を意味している. なお, 被験者 A1 は実験のはじめの段階で共同作業者
A2 にメモを取るように依頼したため, 話し合いを通じて全くメモを書き留めていない.
グラフより, Toulmin の議論モデルにおける論拠にあたる部分のメモは, ほとんど残されない
傾向があることが分かる. 話し合いにおいて残されるメモの大多数は話し合いでの決定事項,
すなわち主張にあたる部分であると考えられる. 本実験では, 根拠にあたるメモがある程度確
認されるが, これはモデル地域における交通問題を明らかにした上で, その問題点を解決する
ルール案を提案するという課題を与えたためであろう.
4.1 で述べたように, 論拠には根拠に意味を付与する役割があり, 主張は, 根拠と論拠によっ
て成り立っている. 実際に, 話し合いの中では何らかの根拠となる資料や体験から, それをどの
ように解釈するかといった論拠を経て両者の同意のもとで主張が導かれている. しかし, 時間
28
図 4.3: 分類したメモ内容
的な制約を受けたり, 被験者に論拠をメモに残す習慣がなかったりするために, 決定事項を主
張する上で重要な要素である論拠がメモに残されていないと考えられる. そのため, 話し合い
の途中に書き留めたメモを使って, 主張にあたる決定事項を確認することはできるが, その主
張が導かれた背景や採用された理由といった論拠の部分を参照することはできない. その結果
として, 書き留めておいた主張の確からしさを示すことができなくなり, 過去に行なった話し
合いの内容が不明瞭になると考えられる.
以上のような議論から, 本研究では Toulmin の議論モデルにおいて論拠と呼ばれる部分に注
目し, 過去に行なった話し合いの詳細な内容を忘れてしまうという問題は, 論拠を思い出すこ
とができずあいまいになっているからであるという仮説を立てる. また, メモの大半は話し合
いの中で決定された決定事項, すなわち主張であると考えられるため, 本研究では過去の話し
合いを参照する際には, メモを書いた時刻周辺で論拠について話し合っている部分を提示すべ
きであると考え, この考えに基づいた再生開始時刻候補の決定手法を提案する.
観察的評価
話し合いの中で書き留められたメモの内容を調査すると同時に, 実験風景を撮影したビデオ
を用いて, ユーザが記録モードでのメモ・アプリケーションやズーム機能付き書画カメラシス
テムを使用する様子を観察した.
まず, ズーム機能付き書画カメラを使用するについて述べる. 本実験では, 主に資料として用
意された写真を使って議論が行なわれていたが, 写真を詳しく参照したいシーンでズーム機能
付き書画カメラを使用している様子が多数確認された. その際, 「ズームするね. 」と相手に宣
言した後でズームをしたり, 手元にある資料を相手に詳しく見せたい時に「ズームしたら？」
と提案して相手にズームさせる場面が確認された. このような発言を行なうことで, 不要な資
29
料を移動させ, 相手が目的とする資料を見やすくさせる行動がなされていた. また, ズームを
して参照された資料は, しばらくの間, 議論の中心となることが多かった. しかし, 自分の手元
の資料をズームして相手に見せたい時は, 相手にズーム操作を行なわる必要があるため, この
ような場面では, どちらがズームすればよいかで混乱する場面も観察されている. このような
結果から, ズーム機能は話し合いの中で活用されているが, ズームを操作する方法については,
改良の余地があると考えられる.
メモアプリケーションに関しては, 通常のノートにメモを書く時と同様に, ペンを用いて直
感的に文字を書き込むことができるため, 使用する上での問題は, 特に確認されなかった. ま
た, キャプチャ機能を用いることで, 図 4.4 のように書画カメラ領域に提示されて資料をメモ
アプリケーションに取り込だ上でさらにメモを書き加えていくという使用方法が確認された.
図 4.4: キャプチャして利用された資料の例
4.3 同時発話の役割
効率良く会話を行なうためには, 話し手と聞き手の役割が固定されるのではなく, 適切な場
面で聞き手が次の話し手となり, 話し手は聞き手となることで, 対話に参加, 貢献していくこと
が必要となる. Sacks らは, このような会話における話者交代を統制するメカニズムとしてター
ンテイキング理論を提案した [17]. この理論は, 現在の発話者が次の発話者を指定したり質問
したりする, もしくは発話を停止することで聞き手を次の発話者とすることができるとし, こ
の行為によって会話における聞き手と話し手の役割が交代されていくというものである. その
ため, 相手話者の発話中に発話を開始するという行為は, 会話におけるルール違反とされ, 通常
の会話においてこのような行為が最小になるように構成されるとしている.
しかし, 実際の会話において複数の参加者が同時に発話するという現象, すなわち同時発話
現象が, 従来の研究に比べて予想外に多いことが明らかになってきている. 実際に 4.2 で行なっ
30
た実験においても, 図 4.5 に示すような同時発話現象が多数確認されている. このような背景
から, Clark はターンテイキング理論で例外視している同時発話現象の戦略的な機能を見直す
必要があるとし, 同時発話の分類を行なっている [18]. Clark の分類に従うと, 1)Acknoledgements 2)Collaborative completions 3)Recycled turn begennings 4)Invited interruptions 5)Strategic
interruptions の 5 つに分類される対話ストラテジが同時発話の発生時には存在するとしている.
それに対し, 榎本は日本語地図課題対話を通じて, Clark が提案した同時発話の分類を見直し,
招致介入・協調的介入・戦略的介入の大きく 3 つに分類した [19]. さらに榎本らは, 最小協調
労力のための介入という理論を提案し, 同時発話には話者間での情報共有の傾斜を改善する機
能, 理解や同意の意味を強く伝える機能があるとしている [20]. 一方, 久保田らは中学生の理科
学習における同時発話の役割について調査し, 活発な意見交換が行なわれ共同での意味生成が
数多くあるグループの方が同時発話の回数が多いことから, 小グループでの話し合いにおける
共同での意味生成に同時発話が関与していると考察している [21]. 加えて, 岡田らは「多声性
を帯びている」といわれる様々な「声」の重なりの中で, 新たな意味や価値観を発想させる余
地を残す発話 [22] に注目し, 我々の発話には, 「意味を伝える」機能だけではなく, お互いの発
話に対して「意味を与えあう」機能とが同居しているとしている [23].
以上のような同時発話に関する研究から, 本研究では, 作業者がお互いに協力してデータを
解釈することで主張を支持するための意味付けを行なったり, 作業者間でのバックグラウンド
の差を改善することでより客観的な主張を導出したりするために同時発話が行なわれている
と考える. つまり, 同時発話が発生する部分は Toulmin の議論モデルの論拠について話し合っ
ている場面であると考える. そこで, 本研究では同時発話に注目した再生開始時刻候補の決定
手法を提案する.
図 4.5: 同時発話の例
31
4.4 再生開始時刻決定手法の提案と実装
4.1 で述べたように論拠には根拠に意味を与え, 主張を導き出し, またその導出の確からしさ
を表す機能があると考えられる. そのため, 本研究では, 論拠について議論を行なっている場
面が議論の中でも最も重要な部分であると考える. よって, ユーザが任意のメモを選択した時,
ユーザに提示すべき適切な場面は, メモに関する論拠について話しあっている場面であると考
える. 本研究では, 4.3 で述べた同時発話の機能から, このような場面では同時発話が頻発して
いると考え, 同時発話に注目した再生開始時刻決定手法を提案する.
本研究で言う同時発話とは, 知野らの定義 [24] に従い「複数 (本研究においては, 2 人) の対
話参加者の発声した音声が時間的に重複している現象」と定義する. 同時発話とみなす 2 つの
発話区間の時間的関係を図 4.6 に示す.
図 4.6: 同時発話とみなす 2 発話の時間的な関係
4.4.1 再生開始時刻決定手法の概要
本節では, 本研究が提案する再生開始時刻決定手法について述べる. 図 4.7 に再生開始時刻
決定手法の概要を示す. この手法では, 再生開始時刻の候補を以下の手順で決定する.
1. 音声データを PC に取り込む.
2. 音声データを用いて, 各作業者が発話中か否かの判定を行なう.
3. 各作業者の発話状態から同時発話の発生した時刻を算出する.
4. クラスター分析を行ない, 近い時間帯に発生した同時発話の集合をつくる.
5. 4. でできた同時発話の集合を再生開始時刻の候補とし, その候補をトピック提示ウィン
ドウに提示する.
同時発話を検出するための音声データは, 44.1kHz のサンプリングレート, 16bit データでサ
ウンドカード経由で取得している. さらに, 取得した音声データの 100msec 毎の平均値を, 音
32
声データを取得した時間における音量とし, 閾値以上の音量の時は, 作業者が発話中であると
判定する. この時, 各作業者の発話データとして, 発話開始時刻と発話時間長を算出している.
また, 音声を取得する際には, 環境音やループバックした音声の影響を小さくするために, 作業
者の胸元にタイピン型ワイヤレスマイクを装着させる. 次に, このようにして算出した各作業
者の発話状況を用いて, 同時発話の発生を検出する. 同時発話に関しても発話データと同様に,
同時発話の発生時刻と同時発話時間長を算出している. 検出された同時発話は, 時間軸上に並
ぶ一次元のデータを持つので, 時間を要素として 4.4.2 で述べる Ward 法によるクラスター分
析を行なう. これにより, 近い時間帯に発生した同時発話を同じ集合に属する同時発話群とし
て扱う. また, その集合における代表値として, 集合に属する同時発話発生時刻の重心値を用い
ている. 以上のようにして算出された再生開始時刻の候補は, 4.4.3 で述べるトピック提示ウィ
ンドウに表示される.
図 4.7: 再生開始時刻決定手法の概要
4.4.2 Ward 法によるクラスター分析
クラスター分析とは, 異なる性質のもの同士が混ざりあっている集団 (対象) の中から, 互い
に似たものを集めて群れ (クラスター) を作り, 対象を分類する手法である. クラスター分析に
は, 様々な手法が提唱されているが, 本研究では, Ward 法によるクラスター分析を行なう. Ward
法は, クラスター分析法の基準に関して最善ではないにしても, 一般に極めてすぐれた手法で
あるとされている [25].
今, n 個の対象 O1 , O2 , . . ., On があり, 対象 Oi と Oj との類似の度合を dij で表すとする.
Ward 法が属する凝集型の階層的クラスター分析手法では, 距離のように値が小さい方が類似
度が高いことをあらわす非類似度を類似の度合を表すパラメータとして, 以下の手順でクラス
ターを構成していく.
33
1. 1 つずつの対象を構成要素とする n 個のクラスターから開始する.
2. クラスター間の非類似度行列 (dij ) 参照し, もっとも類似性の高い 2 つのクラスターを融
合して, 1 つのクラスターを作る.
3. クラスター数が 1 つになれば終了. そうでなければ, 次のステップへ進む.
4. ステップ 2 で新しく作られたクラスターと, 他のクラスターとの非類似度を計算して, 非
類似度行列 (dij ) を更新し, ステップ 2 に戻る.
Ward 法では, クラスターを融合することで発生する群内誤差の平方和の合計が最小限にな
るような 2 つのクラスターを探索し, その 2 つのクラスターを融合するという手法を取る. 今,
クラスター (p) に含まれる np 個中の i 番目の対象を考え, その対象が持つ m 個の変量の中の
j 番目の変量に対する観測値を xji(p) と表すとする. また, クラスター (p) に含まれる対象の持
つ j 番目の変量の観測値の平均を x̄j(p) と表す. このとき, クラスター (p) 内の群内誤差の平方
和は,
Ep =
np
m j=1 i=1
(xji(p) − x̄j(p) )2
(4.1)
と表される. ここで, クラスター (p) とクラスター (q) を融合して, 新たにクラスター (t) を作る
とする. この時, クラスター内の偏差平方和の増分を ∆Epq と表すと,
∆Epq =
m
np nq (x
− x̄j(p) )2
np + nq j=1 j(p)
(4.2)
となる. 先に述べたように Ward 法では, クラスター内の群内誤差の平方ができるだけ小さい
方が望ましいと考え, 各段階でのクラスターの融合による群内誤差の増分 ∆Epq が最も小さ
くなるようなクラスター (p) とクラスター (q) を融合する. そのため, クラスター (p) とクラス
ター (q) の非類似度 dpq には, ∆Epq を用いる. 2 つのクラスター (p) とクラスター (q) を融合し
て作られたクラスター (t) と, 別のクラスター (r) を融合する時のクラスター内の群内誤差の増
分 ∆Etr は,
∆Etr =
=
m
nt nr (x̄ − x̄j(r) )2
nt + nr j=1 j(t)
np + nr
nq + nr
nr
∆Epr +
∆Eqr −
∆Epq
nt + nr
nt + nr
nt + nr
(4.3)
と表される. この式から非類似度行列の更新には以下の式を用いる.
dtr =
np + nr
nq + nr
nr
dpr +
dqr −
dpq
nt + nr
nt + nr
nt + nr
(4.4)
全てのクラスターが 1 つずつの対象から成る場合を考えると, 初期値の対象間の非類似度とし
てユークリッド平方距離の 1/2 を用いるとよいことになる.
これらの機能は, FreeBSD 上で C 言語を用いて実現した.
34
4.4.3 トピック提示ウィンドウ
同時発話を用いて決定した再生開始時刻の候補は, 図 4.8 に示すトピック提案ウィンドウに
提示される. このウィンドウは, ユーザが詳細な内容を参照したいメモをペンでタップするこ
とで呼び出すことができる.
呼び出されたトピック提示ウィンドウには, 選択されたメモが書かれた時刻を中心とした再
生開始時刻の候補がその時のスナップショットとして提示される. スナップショットには, 書画
カメラ領域に提示された書類の映像と顔画像を用いている. メモが書き込まれた時刻と参照す
べき時刻は, 時間差が大きいほど相関が弱くなると考えられるため, 提示されるスナップショッ
トは選択されたメモ時刻を中心として, 時間差が大きくなるほど小さく表示されるようになっ
ている. また, メモが書き込まれた時刻より前の時間帯の方が後の時間帯に比べてメモとの関
連が強いと考えられるため, 選択したメモが書き込まれた時刻から同じ時間差の候補であって
もメモが書き込まれた時間より前の候補は, 後の候補に比べて大きく表示されるようになって
いる. このように提示されているスナップショットをユーザがペンで触れることで, その時刻
へ再生する映像をジャンプさせ, さらに再生ボタンを押すことで映像を再生することができる
ようになっている. また, 必要に応じてタイムラインバーを移動させることで任意の時刻の映
像へジャンプさせたり, ビデオ操作ボタンを用いることで一時停止等の操作を行なうことがで
きるようになっている.
さらに, 提示されている候補と選択したメモやその他のメモとの時間的な前後関係が分かる
ように, 選択したメモやそれ以外のメモが書き込まれた時刻の場所にメモが書かれたことを示
すアイコンを提示している.
図 4.8: トピック提示ウィンドウの概観
35
第5章
評価実験
第 4 章で提案した再生開始時刻決定手法の有効性を確認するため, 過去に行なった話し合いの
映像を参照してまとめるというレポート作成課題実験を行なった. 本章では, レポート作成課
題実験の設定や実験の結果について述べる.
5.1 実験設定
実験は, 過去に行なった話し合いの内容を後日レポートにまとめるという場面を想定した.
そのため, 以下の手順で実験を行なった.
1. レポートの素材となる話し合いを行なわせる.
2. 1. で行なった話し合いの映像を参照しレポートにまとめさせる.
本節では, 各手順の実験設定の説明を行なう.
また, 従来の研究では蓄積した映像を再生する際, 単純に作業者がメモを書き込んだ時刻を
再生開始時刻とするものが多い. そこでステップ 2 のレポートを作成する段階では, 以下の 2
つのシステムで比較を行なった. 今後, 同時発話が頻発する部分を再生候補とするシステムを
同時発話システム, 単純にメモ時刻を再生候補とするシステムをメモ時刻システムと呼ぶ. 話
し合いの様子を撮影した映像には, 話し合いの内容に関する全ての情報が含まれているため,
本研究ではいかに短時間で目的の情報を検索できるかといった点に注目する.
• 同時発話が頻発する部分を再生開始時刻の候補とするシステム
=⇒ [同時発話システム]
• 単純にメモ時刻を再生開始時刻の候補とするシステム
=⇒ [メモ時刻システム]
メモ時刻システムでは, メモとメモの間隔が長時間に渡る場合, 提案する再生開始時刻の候
補が同時発話システムに比べて少なくなってしまう可能性がある. そのため, メモとメモの間
が 2 分以上になる場合は, 約 1 分間ごとの等間隔に区切った時刻を再生候補として加えた. こ
のようにすることで, 2 つのシステム間で提案する再生開始時刻の候補の数をおおまかに揃え,
提案する数による実験結果への影響を小さくした. 図 5.1 に同時発話システム, および図 5.2 に
メモ時刻システムを用いた場合での同じメモを選択した時の再生開始時刻の候補の例を示す.
36
図 5.1: 同時発話システムを用いた時の再生地点候補の例
図 5.2: メモ時刻システムを用いた時の再生地点候補の例
37
レポートの素材となる話し合いの実施
被験者らにとって身近かな話題である以下の 2 つの議題について話し合いを行なわせ, この
話し合いの内容をレポートにまとめる対象とした.
• 筑波大学キャンパス内交通ルールへの提言
• TWINS への提言
1 つ目の課題である「筑波大学キャンパス内交通ルールへの提言」とは, 自転車を中心とし
た学内の交通ルールに関する討論である. モデル地域を第一学群地区とし, このモデル地区に
おける交通問題を明らかにした上で, その問題点を解決するルールを提案させるという課題を
与えた. この課題は, 4.2 で行なったメモ内容を調査する実験で与えた課題と同一の課題である.
2 つ目の課題である「TWINS への提言」とは, 2002 年より筑波大学に所属する学生の学務支
援を行なう情報システムとして導入された TWINS(Tsukuba Web-based Information Network)
に関する討論である. 導入されて間もない TWINS の問題点を明らかにし, その問題点を解決
するための改善案を提案させるという課題を与えた.
これら 2 つの課題を取り組むにあたって, 各話し合いともに同数程度の写真やアンケート結
果のグラフを資料として用意した. これらの話し合いには, 被験者として筑波大学の学生 2 組
4 名が取り組んだ. すなわち, 話し合いを行なう組が 2 組, 議題が 2 つで合計 4 パターンの話し
合いをレポートの素材とした. また, 話し合いを行なう組は, お互い顔見知りである程度親しい
仲である 2 人の組とし, 活発な話し合いが行なわれるようにした. 話し合いを行なう時間は約
20 分とし, この実験時間内に 3 つ程度の改善案の提案ができるように指示をした. さらに, 実
験直後に話し合いを通じて具体的にどのような改善案が提案されたかについてインタビュー
を行なった.
レポート作成課題
レポート作成課題は, 話し合いを行なって約 1 カ月が経過した本人らに加えて, 話し合いに
全く参与していない第三者にも行なわせた. 被験者に第三者を用いることで, 話し合いの実施
後長い期間が経過し, 話し合いの内容を全て忘れてしまった状態で, 過去に行なった話し合い
の内容をまとめるという場面を仮想的に作り上げた. 一方で, 実際の議論において, 本来は議
論に参加すべきメンバーが, 予定があわなかったりしたために議論に参加できなかったという
場面が考えられる. このような人が, 本来参加すべきであった議論の内容を参照したいと思う
場面が十分に想定されることも, 第三者に課題に取り組ませた理由の一つである. レポート作
成課題には, 話し合いを行なった 4 名に加えて, 話し合いに全く参与していない第三者として
筑波大学の学生 8 名の合計 12 名が参加した.
第三者がレポート作成課題に取り組む際には, 8 名の被験者を無作為に 4 名ずつの 2 班に分
け, 1 つの班は同時発話システムを用いて, もう 1 つの班はメモ時刻システムを用いて課題に
取り組ませた. 取り組ませる議題は各システム間で同数になるように設定した. また, 1 人の被
験者は A 組の話し合いをレポート素材にする場合と, B 組の話し合いを素材にする場合とで
38
は, 互いに異なるシステムを用いて課題に取り組ませた. また, 同時発話システム, メモ時刻シ
ステムを使用する順序は交互になるように設定した.
話し合いに参加した本人たちがレポート作成課題に取り組む際には, 話し合いを行なったペ
アの一方が同時発話システム, もう一方がメモ時刻システムを用いて課題に取り組ませた. も
う 1 つの議題においては, はじめの議題で用いたシステムとは異なるシステムを用いて課題に
取り組ませた. また, 第三者の場合と同様に, 同時発話システム, メモ時刻システムを使用する
順序は交互になるように設定した.
レポートの作成は, あらかじめ用意した解答用紙形式の紙に行なわせた. 解答用紙には, 1 枚
につき 1 つの決定事項, すなわち議論を通じて明らかになった問題点に対する改善案があらか
じめ書きこまれている. この決定事項は, 話し合いの実施直後に行なったインタビューをもと
に選択した. さらに解答用紙には, 決定事項に関する「理由」と「詳細な内容・問題点・利点」
の 2 つの解答項目が用意されている. 「論拠」という解答項目を用いた場合, 被験者が作業の
趣旨を理解できずに解答ができない可能性があると判断し, このような解答項目を準備した.
被験者は, これらの用意された解答欄にシステムを用いて映像を参照することで, 映像から分
かった内容を記述していくという課題に取り組ませた. その際, 被験者が自分の経験などから
想像して解答を書き込むことを禁止し, 映像の中で話し合いへの参加者が話している内容から
のみ解答を書くように指示をした. 全ての被験者に対して, 課題に取り組む前に一度練習用の
素材を用いて練習セッションを行なわせ, システムの使い方や解答の書き方などを理解させた.
練習の後に, 素材となる話し合いで決定された 3 つの決定事項に関して課題に取り組ませた.
作業時間は, 1 つの決定事項につき 5 分ずつとし, 1 つの素材につき合計 15 分とした
5.2 実験結果
本節では, 第三者, および本人が行なったレポート作成課題実験の結果について述べる. その
際, 被験者らがレポートとして解答用紙に書き込んだメモ数の時間的変化と被験者らがシステ
ムを使用する様子の 2 つの部分に分けて述べる.
5.2.1 第三者によるレポート作成課題実験の結果
メモ数の変化
A 組の話し合いを素材としたレポート作成課題に対して, 被験者が解答したメモ数の時間的
変化を図 5.3 に示す. 同様に, B 組の話し合いを素材とした課題に対し被験者が解答したメモ
数の時間的変化を図 5.4 に示す. このグラフは, 1 分毎に被験者が解答用紙に書き込んだメモの
数を累積し, さらに 1 人あたりの平均を取ったものを表している. また, 実験後に素材となる議
論の内容を見直し, 明らかに議論の内容と異なる解答を行なっている場合は不正解とした.
グラフが示すように, 全ての課題において同時発話システムを用いて設問に解答した方が,
メモ時刻システムを用いて解答した場合に比べて累積メモ数の立ち上りが早い傾向があるこ
とが分かる. すなわち, 同時発話システムを用いた場合は, 主に作業の初期の段階で多くのメ
39
モが書き込まれているのに対して, メモ時刻システムを用いた場合は, 主に作業の後半部分で
メモが書き込まれている傾向があると考えられる. 特に, 作業開始から 2 分経過時までに解答
された累積メモ数は, 同時発話システムを用いた場合では, メモ時刻システムを使用した場合
に比べて約 2 倍の解答がなされている. マン・ホイットニーの U 検定を行なったところ, 作業
開始から 2 分経過時までの累積メモ数には 2 条件間で有意差が確認された (p < 0.05). 作業開
始から 5 分が経過すると, A 組の話し合いを素材とした場合では両システム間での累積メモ数
の差はほとんどなくなっているが, B 組の「学内の交通問題」に関する話し合いを素材とした
場合では, 2 システム間での累積メモ数の差が大きなままであり, 「TWINS」に関する話し合
いを素材とした場合では, 作業後半に再びメモ数が増加していることが確認できる.
観察的評価
実験を行なう前に, 練習セッションを用いて十分な練習を行なわせたため, 被験者がシステ
ムを使用するにあたって特に問題は確認されなかった.
被験者は設問に答えるにあたって, ほとんどの場合, まずはじめにメモを書き込んだ時刻直
前の再生開始時刻候補から映像を再生し, そのまましばらく映像を観察するという手法を用い
ていた. 被験者らのこれまでの話し合いの経験からメモとメモを書く理由となった会話との時
間的な関係を考慮し, このような選択をしていたと思われる. すなわち, メモ時刻システムを
用いた場合では, メモを書いた時刻から約 1 分程度前, もしくはメモを書いた時刻から映像を
再生させ, 同時発話システムを用いた場合では, メモ時刻直前の同時発話が頻発している場面
を再生させていた.
また, 正面の顔画像と書画カメラ領域提示用ディスプレイが身体的な位置関係を考慮して配
置されている Agora の機材を利用したため, 映像中の作業者が「ここが」といった指示代名
詞を用いながら書画カメラ領域上の資料を指さして説明を行なった場面でも, スムーズに資料
を参照し指さしなどの動作を見ることができていた. そのため, 資料を用いながら話し合いを
行なっている場面においても, 問題なく場面の理解が行なわれ, その内容について解答されて
いた.
実験後にアンケートを行なった結果, 被験者の 75%が同時発話システムを用いた方がメモ時
刻システムを用いるより, 目的の場面を探しやすいと答えた. 自由記述欄にも「話し合いの中
心場面を参照できる」などといった記述が確認された. しかし, 一方で「いきなり話し合いの
中心となる場面が提示されるので, 内容をきちんと理解するためには少し前に巻戻して再生し
なおす必要がある」という記述が確認されている. 実際に, 数名の被験者は同時発話システム
を用いて課題を参照する場合, いったん再生開始時刻候補を選んだ後にタイムラインバーを用
いて映像を少し巻戻して改めて再生するという使い方を行なっていた.
40
図 5.3: A 組の話し合いを素材とした第三者によるレポート作成課題の結果
図 5.4: B 組の話し合いを素材とした第三者によるレポート作成課題の結果
41
5.2.2 本人によるレポート作成課題実験の結果
メモ数の変化
第三者によるレポート作成課題の結果と同様に, A 組の話し合いを素材としたレポート作成
課題に対して, 被験者が解答したメモ数の時間的変化を図 5.5 に示す. 同様に, B 組の話し合い
を素材とした課題に対し被験者が解答したメモ数の時間的変化を図 5.6 に示す.
本人がレポート作成課題に取り組んだ場合においても第三者にレポートを作成させた時と
同様に, 全ての課題において同時発話システムを用いて解答した方が, メモ時刻システムを用
いて解答した場合に比べて累積メモ数の立ち上りが早い傾向があることが分かる. すなわち,
本人がレポートを作成するにあたっても同時発話システムを用いた場合は, 主に作業の初期の
段階で多くのメモが書き込まれているのに対して, メモ時刻システムを用いた場合は主に作業
の後半部分でメモが書き込まれている傾向があると思われる. 本人がレポート作成課題に取り
組んだ場合では, 第三者が取り組んだ場合に比べて作業開始から 5 分が経過しても, 累積メモ
数に差が大きいことが確認できる. 特に, A 組の「TWINS」に関する議論を素材とした場合で
はシステム間での累積メモ数の差が顕著である.
観察的評価
第三者にレポート作成課題を行なわせた時と同様に, 実験を行なう前に十分な練習を行なわ
せたため, 被験者がシステムを使用するにあたって特に問題は確認されなかった.
実験後にアンケートを行なった結果, 全ての被験者が同時発話システムを用いた方がメモ時
刻システムを用いるより, 目的の場面を探しやすいと答えた. 第三者にレポート作成課題を行
なわせた場合と異なり, 同時発話システムが提案した再生開始時刻の候補をそのまま見ても内
容が理解できなかったという意見は得られなかった. 逆に, レポート作成課題に取り組む前は
ほとんど話し合いの内容を忘れていたが, 同時発話システムが提案する再生時刻の候補から映
像を再生することで話し合いの要点を参照することができ, 参照した要点から話し合いのコン
テクストを思い出すことができたという意見があった. さらに, コンテクストを思い出すこと
ができたため, 思い出したコンテクストを頼りに次の再生開始時刻を決定したり, 現在再生し
ている映像をこのまま見続けるかどうかの判断を行なうことができるという意見があった. 実
際に, 被験者が設問に答えるにあたって, メモ時刻システムでは選択した再生開始時刻から映
像を流し続けるという手法を用いている場面が確認されたに対し, 同時発話システムを用いる
場合はある程度映像を参照した後に, 必要に応じて他の候補を次々に参照していくという手法
を用いている場面が確認された.
42
図 5.5: A 組の話し合いを素材とした本人によるレポート作成課題の結果
図 5.6: B 組の話し合いを素材とした本人によるレポート作成課題の結果
43
5.3 本章のまとめ
本章では, 同時発話に注目した再生開始時刻決定手法の有効性を確認するため, 過去に行なっ
た話し合いの内容を参照してまとめるというレポート作成課題実験を行なった. レポート作
成課題実験の結果, 5.2.1, 5.2.2 で述べてきたように, 話し合いに全く参与していない第三者で
あっても, 同時発話システムを用いた方がメモ時刻システムを用いた場合に比べて作業開始か
らより早い時間帯で, ある決定事項に関する理由や詳細な内容について検索できることが確認
された. また, 話し合いを行なった本人においても同様の傾向が確認された. 次章では, 実験結
果や被験者から得られた感想, 被験者がシステムを利用する様子から, 本研究が提案するシス
テムの利点や問題点について考察する.
44
第6章
考察と今後の展望
本章では, 第 5 章で行なった評価実験の結果からシステムの有効性や問題点について考察する.
さらに, システム開発の今後の展望について述べる.
6.1 実験結果の考察
レポート作成課題実験の結果, 話し合いの内容を全く忘れてしまった状態を想定した第三者
であっても, 同時発話システムを用いた方がメモ時刻システムを用いた場合に比べて作業開始
からより早い時間帯で, ある決定事項に関する理由や詳細な内容について検索できることが確
認された. また, 話し合いを行なった本人においても同様の傾向が確認されたことから, 同時発
話が多く発生する場面では, 決定事項の理由や詳細な内容といった重要な事柄が話し合われて
いる可能性が高いと考えられる. すなわち, 話し合いの様々な場面を保持している長時間の映
像から, 同時発話が多く発生する場面を検出しユーザに提示することは, 膨大な量の映像を閲
覧する際の作業性の向上に有効であると考えられる. また, 話し合いに全く参与していない第
三者に対しても効果が確認されたことから, 同時発話システムは第三者が参与していない話し
合いを追体験する場面においても有効であると考えられる.
また, 野矢は「前提から結論へのジャンプの幅があまりに小さいと, その論証は生産性を失
う. 他方, そのジャンプの幅があまりに大きいと, 論証は説得力を失う. そのバランスをとり
ながら, ちいさなジャンプを積み重ねて距離をかせがなくてはならない. それが論証である. 」
[26] と言っている. すなわち, 主張に説得力を持たせるには, 階段を 1 段 1 段昇っていくように
根拠や論拠を示しながら少しずつ結論を導いていったり, 様々な視点から主張の正当性を述べ
ていく必要がある. このような話し合いの進め方がなされている場合, 主張を導くため論拠に
ついて話し合っている場面は時間的に散在している可能性があると考えられる. 同時発話シス
テムでは, メモ時刻システムに比べて時間的に散在する論拠により近い部分を再生開始時刻の
候補として提案できたと思われる. そのため, 話し合いを行なった本人たちは, 話し合いのコン
テクストを思い出すことができたと考えられる. さらに, 思い出したコンテクストを利用して
再生開始時刻を決定したり, 現在の映像を見続けるのかといった判断ができたために, 最終的
な累積メモ数にも差が現れたと考えられる. また, 第三者を被験者とした場合でも, 時間的に
散在する論拠により近い部分を再生開始時刻の候補として提案できたため, B 組の「学内の交
通問題」に関する議論を素材とした場合は 2 システム間での累積メモ数の差が大きなままで
あり, 「TWINS」に関する議論を素材とした場合も作業後半に再びメモ数が増加しているこ
とが確認されたと考えられる.
45
一方, 第三者が同時発話システムを用いてレポートを作成させた場合では, 話し合いの中心
部分を直接提示したために, 話し合いのコンテクストを理解することが難しかったと考えられ
る. そのため, 使いづらいと感じる被験者がいたり, 再生開始時刻の候補を一度選択した後にタ
イムラインバーを用いて少し巻戻すという動作が必要であったと考えられる. このように, 話
し合いの重要な場面を直接ユーザに提示することで, 映像を参照する作業時間を短縮すること
ができるが, 一方で結論に至るまでの場面を参照できないため話し合いのコンテクストを理解
することが難しくなると考えられる. 話し合いを行なった本人であっても, 話し合いを行なっ
て長期間が経過してしまうと話し合いのコンテクストを忘れてしまい第三者と同様の状況に
なってしまう可能性が考えられる. そのため, 例えば, 話し合いを行なった直後にその内容を参
照するのであれば, より目的の場面を直接提示することで作業時間を短縮することを重要視し
た提案をし, 話し合いを行なって長時間が経過していればコンテクストの理解を優先させるた
めに若干の作業時間は犠牲にしても多少長い区間の映像を提示する提案を行なうといったア
ルゴリズムの工夫が必要であると考えられる.
6.2 今後の課題
本研究では, 再生開始時刻の候補を決定するために同時発話という現象に注目した. 同時発
話が行なわれる発話の例としてあいづちがある. 電話といった音声のみを用いたコミュニケー
ションであれば, あいづちは発声を伴って行なわれることが多いと考えられる. しかし, 本研究
が取り扱う映像メディアを介した遠隔ミーティングでは, 作業者が遠隔地の相手の顔の動きや
表情を観察することができる. そのため, 声を出さずに頭を縦に振りうなずくことで相手の発
話に対してあいづちを打つ場面がある. このような場面は, 現在のシステム構成では検出する
ことができない. 頭の動きを認識するなどして, このような非言語的なあいづちであるうなず
き動作を検出し同時発話の一部とみなすことで, より適切な場面の提案ができると考えられる.
また, 本研究で行なったレポート作成課題実験では, 用意された解答用紙に解答を書き込ま
せるという基礎的な評価に留まっている. そのため, 論拠を提示することでレポートの質がど
のように変化するかに関しては調査を行なっていない. そこで, 今後は実際に過去の話し合い
の内容を思い出し, その内容をまとめたレポートを作成させることで, 論拠を提示することが
レポートの客観性や説得力にどのような影響を及ぼすのかを調査すべきであると考えられる.
さらに, 継続的にシステムを利用させることで, ユーザのメモを取るという行為にどのような
変化が見られるのかを観察していく必要がある.
46
第7章
おわりに
本研究では, 遠隔ミーティングの記録・再生を支援するシステムを開発した. このシステムで
は, 映像メディアを介したコミュニケーションの利点を生かし, 常に撮影されている作業者の
映像を蓄積しておくという手法を用いた. このようにして蓄積した情報は, 話し合いに関する
全ての情報を含んでいるが膨大な量のデータになるため, いかに短時間で適切な場面を提示で
きるかが重要であると考えられる. そこで, 本研究では Toulmin が提唱した議論モデルに注目
し, ユーザに提示すべき適切な場面について考察した. Toulmin の議論モデルによれば, 何らか
の結論における「論拠」とは, 「根拠」を解釈し意味付けを行なって「主張」を成立させる役
割があるとされている. 本研究では, このような重要な役割を持つ「論拠」がメモを取る際に
欠落してしまったために「主張」の確からしさを示すことができず, 結果として議論の内容が
不明瞭になると考えた. そこで, 同時発話の持つ機能に注目し, 同時発話が多く発生する部分
を再生開始時刻の候補とするシステムを構築した. さらに, 構築したシステムを用いて行なっ
た, レポート作成課題実験によって, 本研究で提案した手法が従来の手法に比べて, 短い作業時
間で, 主張がなされた理由や詳細な内容を検索できることを示した.
今後は, 本システムを用いて過去に行なった話し合いの内容をレポートにまとめさせ, 作成
されたレポートの客観性や説得力の変化についての調査を行なう必要がある. また, 実際の話
し合いの場で, 継続的にシステムを使用させ問題点を明らかにしていくことで, よりよいシス
テムの構築を行なう必要がある.
47
謝辞
本研究を行うにあたって, 熱心なご指導ご鞭撻を賜った筑波大学機能工学系助教授の葛岡英明
先生に深く感謝いたします. また, システム設計にあたってご指導をいただいた筑波大学機能
工学系助教授の中村裕一先生, 同講師の亀田能成先生, 社会学的な面から研究のご指導をいた
だいた埼玉大学教養学部教授の山崎敬一先生, 茨城大学人文学部助教授の鈴木栄幸先生に感謝
いたします.
また, お忙しい中, 実験の被験者としてご協力いただいた筑波大学工学システム学類の皆様,
理工学研究科の皆様, システム情報工学研究科の皆様, そして実験などの多くの面でご協力, ご
助言をいただいたグループウェア研究室の皆さんに心より感謝いたします。
48
参考文献
[1] Stults: Experimental Uses of Video to Support Design Actives; Technical Report SSL 89-19,
Xerox Palo Alto Research Center (1988).
[2] 高取憲一郎: 記憶過程におけるコミュニケーションの役割: 個人再生と共同再生の比較研
究; 教育心理学, Vol.28, pp.108-112 (1980).
[3] Chiu,P., Kapuskar,A., Reitmeier,C. and Wilcox,L: NoteLook: Taking Notes in Meetings with
Digital Video and Ink; Proc. of ACM MULTIMEDIA ’99, pp.149-158 (1999).
[4] 倉本到, 野田潤, 藤本典幸, 萩原兼一: 会合における防備録をもとに一次記録を検索参照する
会合情報記録検索システム ReSPoM; 情報処理学会論文誌, Vol. 41, No. 10, pp. 2804-2813
(2000).
[5] Sifelman,L., Arons,B., and Schmandt,C.: The Audio Notebook: Paper and Pen Interaction
with Structured Speech; Proc. of CHI2001, pp.182-189 (2001).
[6] 山下淳, 葛岡英明, 山崎敬一, 山崎晶子, 加藤浩, 鈴木栄幸, 三木弘之: 相互モニタリングが可
能な遠隔会議システム; 日本バーチャルリアリティー学会論文誌, Vol. 4, No. 3, pp. 495-504
(1999).
[7] Tang, J. and Minneman, S. : VideoDraw: A Video Interface for Collaborative Drawing; Proc.
of CHI’90, pp. 313-320 (1990).
[8] Ishii, H., Miyake N.: Toward an Open Shared Workspace: Computer and Video Fusion Approach of TeamWorkstation; In Communications of the ACM, Vol. 32, No. 12, pp. 37-50 (1991)
[9] Smith,S.M., Glenberg,A., Bjork,R.A.: Environmental context and human memory; Memory
and Cognition, 6, pp. 342-353 (1978).
[10] Tulving,E.: Elements of episodic memory; Oxford, Oxford University Press (1983).
[11] Eldridge,M., Lamming,M, Flynn,M.: Does a Video Diary Help Recall?; In A.Monk, D.Diaper
& M.D.Harrison, editor, People and Computers VII, Cambridge, Cambridge University Press,
pp. 257-269 (1992).
49
[12] 歴本純一: 3 次元マトリックスコードを利用した拡張現実感の構成手法; インタラクティ
ブシステムとソフトウェア, 日本ソフトウェア科学会, WISS’96, pp.199-208 (1996).
[13] Toulmin, Stephen. E.: The Uses of Argument; London, Cambridge University Press (1958).
[14] Gilovich Thomas, 守一雄, 守秀子訳: 人間この信じやすきもの: 迷信・誤信はどうして生
まれるか; 東京, 新曜社認知科学選書 (1993).
[15] 福澤一吉: 議論のレッスン; 日本放送出版協会 (2002)
[16] 足立幸男: 議論の論理 民主主義と議論; 東京, 木鐸社 (1984).
[17] H. Sacks, E. A. Schegloff and G. Jefferson: A simplest systematics for the organization of
turn-taking in conversation; Language, Vol. 50, No. 4, pp. 696-735 (1974).
[18] H. H. Clark: Discourse in production; In Gernsbacher. A. M. editor, Hnadbook of psycholinguistics, pp. 985-1018, San Diego, Academic Press (1994).
[19] 榎本美香: 重複発話現象に基づくターンテイキング理論の見直し∼日本語地図課題を対話
を通して∼; 情報処理学会研究報告 音声言語情報処理, Vol. 99, No. 64, pp. 17-24 (1999).
[20] 榎本美香: 相手話者発話中の発話開始現象は「割り込み」か∼日本語地図課題を対話を通
して∼ ; 人工知能学会研究会資料 言語・音声理解と対話処理, SIG-SLUD-A002 pp. 59-66
(2000).
[21] 久保田善彦, 西川純: 理科学習における話し合いと意味生成の研究: オーバーラップの機
能と発生メカニズムからの考察; 日本科学教育学会 年会論文集 26, pp. 231-232 (2002).
[22] J. V. Wertsch: Voice of the mind : a sociocultual approach to mediated action; Harvard University Press (1991).
[23] 岡田美智男, 鈴木紀子, 石井和夫, 犬童早苗: 共同想起対話における間身体的な場について;
信学技報 SP97-56; pp. 37-43 (1997).
[24] 知野哲朗, 坪井宏之: 自由発話音声言語対話データベースの構築とその分析に基づく談話
構造モデルの提案; 情報処理学会研究報告 音声言語情報処理, Vol. 94, No. 57, pp. 59-66
(1994).
[25] Michael R. Anderberg: Cluster Analysis for Applications; New York, Academic Press (1973).
[26] 野矢茂樹: 論理トレーニング 101 題; 産業図書 (2001).
50