2011年度清木研究会シラバス 研究紹介 - MDBL

2011年度清木研究会シラバス
研究紹介
時間：金曜５，６限（４時半～）
場所：Δ棟（デルタ）S１０７
2011年度春学期 清木研究会（各２単位）
http://www.mdbl.sfc.keio.ac.jp
• 研究会（１）：金曜５限
マルチメディアデータベースシステムとデータ
マイニングの研究
• 研究会（２）：金曜６限
マルチメディアデータベースの応用と感性デー
タベースに関する研究
2
1
研究紹介一覧
•
•
•
•
•
•
感性画像データベース
画像集合と色彩情報を用いた特徴抽出・クエリ生成方式
印象推移による楽曲検索のための感性メタデータ生成方式
感性動画像検索エンジン
装飾機能を有する画集生成システム
複数のメディアデータ感性空間間感性相関量計量方式とその自動Visual Jockeyシステムへの応用
•
連続メディア分析・可視化機構を有する音楽データベース・システムの実現
方式
•
メイン・メディアの有するストーリ性を引き立たせるためのサブ・メディアデー
タ群の連続提供システムの実現
4D World Map System:意味的・時空間的分析機構を有する文書データベー
ス情報可視化システムの実現
場所に応じた行動履歴解釈機能を有するユビキタス・アクティブ・マルチDB
システム
On‐the‐fly 型マルチメディアメタデータ抽出・クエリ生成方式
ユーザコンテクスト動向変化を扱うベクトル生成モデルの提案
•
•
•
•
•
•
個人のキャリア開発支援を対象とした異種の職業情報と教育情報を連結・
分析するメタレベル知識ベースシステムの実現
３D遠隔コラボレーション異文化交流環境の実現
4
感性画像データベース
代表色
150色
にクラスタ
リング
Semantics of Colour
on contemporary Colour Psychology（*1）
R/
V
R/
S
R/
B
R/
P
R/
V
p
R/
Lg
rR/
L
R/
Gr
R/
Dl
R/
D
p
R/
D
k
R/
D
gr
Y
R/
V
Y
R/
S
Y
R/
B
Y
R/
P
Y
R/
V
Y
p
R/
Lg
Y
rR/
L
Y
R/
Gr
Y
R/
Dl
Y
R/
D
Y
p
R/
D
Y
k
R/
D
gr
Y/
V
Y/
S
Y/
B
Y/
P
Y/
V
p
Y/
Lg
rY/
L
Y/
Gr
Y/
Dl
Y/
D
p
Y/
D
k
Y/
D
gr
G
Y/
V
G
Y/
S
G
Y/
B
G
Y/
P
G
Y/
V
G
p
Y/
L
G
gr
Y/
L
G
Y/
G
G
rY/
G/
V
G/
S
G/
B
G/
P
G/
V
p
G/
Lg
rG/
L
G/
Gr
G/
Dl
Dl
G
Y/
D
G
p
Y/
G/
D
p
G/
D
G
k
Y/
D
gr
D
gr
D
k
G/
B
G/
V
B
G/
S
B
G/
B
B
G/
P
B
G/
V
B
p
G/
Lg
B
rG/
L
B
G/
Gr
B
G/
Dl
B
G/
D
B
p
G/
D
B
k
G/
D
gr
B/
V
B/
S
B/
B
B/
P
B/
V
p
B/
Lg
rB/
L
B/
Gr
B/
Dl
B/
D
p
B/
D
k
B/
D
gr
P
B/
V
P
B/
S
P
B/
B
P
B/
P
P
B/
V
P
p
B/
Lg
P
rB/
L
P
B/
Gr
P
B/
Dl
P
B/
D
P
p
B/
D
P
k
B/
D
gr
代表150色
P/
V
P/
S
P/
B
P/
P
P/
V
p
P/
L
gr
P/
L
P/
G
rP/
Dl
P/
D
p
P/
D
k
P/
D
gr
R
P/
V
R
P/
S
R
Colour
Images of colour
V
S
B
P
Vp
Lgr
L
Gr
Dl
Dp
Dk
Dgr
Vivid, Active…
Substantial, Practical …
Bright, Sweet …
Pretty, Sweet and dreamy …
Light, Soft …
Gentle、Sober、静的、 …
調和、Sober, Modest …
Simple, Quiet and Elegant…
Light pale、Classic, Sober、 …
Tasteful, Substantial…
Dignified, Steady…
Heavy and Deep、Austere、 …
P/
B
R
P/
P
R
P/
V
R
p
P/
Lg
R
rP/
L
R
P/
Gr
R
P/
Dl
R
P/
D
R
p
P/
D
R
k
P/
D
gr
[*１]
Colour-Impression Matrix
of present age
warm
bright
:
golden
sunshiny
:
dark
gloomy
R/V R/S … YR/V YR/S … N1.5 N2
0.8 0.8 … 0.6 0.6 …
0 0
0.8 0.8 … 0.6 0.6 …
0 0
0
0
0…
0…
0.8
0.8
0
0
0…
0…
0
0
0.8 …
0.8 …
0
0
0
0
0 … 0.8
0 … 0.8
1
1
小林重順:『カラーイメージスケール改定版』,講談社,2001を基に作成。
2
Semantics of Colour
on contemporary Colour Psychology（*1）
R/
V
Y
R/
V
Y
R/
S
R/
S
Y
R/
B
R/
B
Y
R/
P
R/
P
Y
R/
V
p
R/
R/
V
Y
p
R/
Lg
rR/
Lg
Y
rR/
L
Y
L
R/
Gr
R/
Gr
Y
R/
Dl
R/
Dl
Y
R/
D
p
R/
R/
D
Y
p
R/
D
k
R/
D
Y
k
R/
D
gr
D
gr
[*１]
Y/
V
Y/
S
Y/
B
Y/
P
Y/
V
p
Y/
Lg
rY/
L
Y/
Gr
Y/
Dl
Y/
D
p
Y/
D
k
Y/
D
gr
G
Y/
V
G
Y/
S
G
Y/
B
G
Y/
P
G
Y/
V
G
p
Y/
L
G
gr
Y/
L
G
Y/
G
G
rY/
G/
V
G/
S
G/
B
G/
P
G/
V
p
G/
Lg
rG/
L
G/
Gr
G/
Dl
Dl
G
Y/
D
G
p
Y/
G/
D
p
G/
D
G
k
Y/
D
gr
D
gr
D
k
G/
B
G/
V
B
G/
S
B
G/
B
B
G/
P
B
G/
V
B
p
G/
Lg
B
rG/
L
B
G/
Gr
B
G/
Dl
B
G/
D
B
p
G/
D
B
k
G/
D
gr
B/
V
B/
S
B/
B
B/
P
B/
V
p
B/
Lg
rB/
L
B/
Gr
B/
Dl
B/
D
p
B/
D
k
B/
D
gr
P
B/
V
P
B/
S
P
B/
B
P
B/
P
P
B/
V
P
p
B/
Lg
P
rB/
L
P
B/
Gr
P
B/
Dl
P
B/
D
P
p
B/
D
P
k
B/
D
gr
P/
V
P/
S
P/
B
P/
P
P/
V
p
P/
L
gr
P/
L
P/
G
rP/
Dl
P/
D
p
P/
D
k
P/
D
gr
R
P/
V
R
P/
S
R
Colour
Images of colour
V
S
B
P
Vp
Lgr
L
Gr
Dl
Dp
Dk
Dgr
Vivid, Active…
Substantial, Practical …
Bright, Sweet …
Pretty, Sweet and dreamy …
Light, Soft …
Gentle、Sober、静的、 …
調和、Sober, Modest …
Simple, Quiet and Elegant…
Light pale、Classic, Sober、 …
Tasteful, Substantial…
Dignified, Steady…
Heavy and Deep、Austere、 …
P/
B
R
P/
P
R
P/
V
R
p
P/
Lg
R
rP/
L
R
P/
Gr
R
P/
Dl
R
P/
D
R
p
P/
D
R
k
P/
D
gr
[*2]
warm
bright
:
golden
sunshiny
:
dark
gloomy
R/V R/S … YR/V YR/S … N1.5 N2
0.8 0.8 … 0.6 0.6 …
0 0
0.8 0.8 … 0.6 0.6 …
0 0
0
0
0…
0…
0.8
0.8
0
0
0…
0…
0
0
0.8 …
0.8 …
0
0
0
0
0 … 0.8
0 … 0.8
1
1
（130色、感性語: 157語）
小林重順:『カラーイメージスケール改定版』,講談社,2001を基に作成。
Colour-Impression Matrix
of Japanese Edo era
Semantics of Colour
on Japanese Edo era（*2）
:
:
:
:
:
:
:
Colour-Impression Matrix
of present age
energy, powerful, celebration, life, …
harvested, prosperous, royal, glory, …
eternity, life, nature, tree, garden…
sea, maternal, people, earth, ancestry…
noble, elegant, sexy, dignified, …
pure, innocence, virginity…
night, death, mourning, cheerless…
energy
powerful
:
harvested
prosperous
:
night
mourning
R/V R/S …YR/V YR/S…N1.5 N2
1 0.8 … 0.4 0.4 … 0 0
1 0.8 … 0.4 0.4 … 0 0
0
0
0 … 0.4
0 … 0.4
0
0
0…
0…
0
0
0.4 …
0.4 …
0 0
0 0
0…
0…
1 1
1 1
Ikko Tanaka & Kazuko Koike, Japan Color, Chronicle Books: San Francisco, 1982.（江戸徳川時代の元禄文化（歌舞伎・浄瑠璃・
浮世絵）を対象とした色のセマンティクスについて、英語で記述した文献）を基に作成。
意味の数学モデル（MMM: The Mathematical Model of Meaning） [4/4]
3
１
画像集合と色彩情報を用いた特徴抽出・
クエリ生成方式
作家別作品集合からの特徴（印象）抽出
作品に共通する色使いを
特徴（印象）として抽出
（例）19世紀アールヌーヴォー作家
アルフォンス・ミュシャの絵画集合
Classic 0.5555
Aromatic 0.5392
Old‐fashioned 0.5173
Provincial 0.4387
Warm 0.34747
Nostalgic 0.3474
Rustic 0.3331
Aromatic 0.7322
Rustic 0.5368
Old‐fashioned 0.5337
Pastoral 0.5334
Provincial 0.5043
Warm 0.4942
Classic 0.4423
Aromatic 0.8271
Practical 0.5834
Rustic 0.5827
Heavy_and_deep 0.5309
Sturdy 0.4813
Warm 0.4749
Old‐fashioned 0.4734
２
時代別作品集合からの特徴（印象）抽出
明治時代の作品の
平均的な色使いとその印象
（例）浮世絵データベース
明治時代の作品
豊国の
作品
江戸文政期の作品
aｃtive, forceful, dynamic, energetic, bold, intense
広重の
作品
江戸文政期の作品の
特徴的な色使いとその印象
chic, cozy & comfortable, cultured, delicate, gentle, maidenly
4
３
感性音楽データベース：
印象推移による楽曲検索のための感性メタデータ生成方式
instrument
Kansei circle for music
player
listener
Music
Listener’s
ear
composer
score
♪
♪
♪
♪
♪
♪
♭
♪
♪
♪
happy
calm
very
happy
聞き手がどんな気持ちになり，それがどう，こころを揺れ動かすか
４
目的
「印象」を対象にその「推移」を表現するメタデータ生成方式を提案する
特徴
印象と推移がもたらすインパクトを反映したメタデータを生成する
メリット
＊ストーリー性やインパクトのある部分によるマッチングが可能になる
＊複数の時間粒度の印象推移メタデータによる詳細なマッチング・知識抽出が可能になる
インパクトを反映
Very sad
happy
sad
Very happy
happy
♪
♪
♪
♪
♪
♪
♭
♪
♪
♪
5
感性動画像検索エンジン
 任意の動画像・静止画像・キー
ワードといったマルチメディア
データを組み合わせて動画
データを検索する，Query‐by‐
Multimedia環境を有する動画
検索システムを実現
 本システムの利用者は，既存
のマルチメディアデータベース
を対象としてクエリ生成演算子
を適用し，自らの検索意図をマ
ルチメディアデータの時系列的
な組み合わせとして記述し，動
画像を検索することが可能
５
Multimedia-DB
music
DB
Picture
DB
movie
DB
Multimedia-DBを活用
クエリとなる要素を利用者に提示
時系列メディア・クエリ
Query-byMultimedia環境
静止画像
色彩
動画
キーワード
happy,
light,…
既存マルチメディアデータ
を用いた検索要求の入力
検索要求
動画像を対象としたコンテンツ印象特徴量の自動分析
各シーンの色彩分布
動画像を１秒ごと（設定により、
1~nフレームに抽出頻度を設
定可能）に分割したシーン群
ストリーミング動画を対象としたメタデータ生成であり、動
画再生と同時の印象分析が可能
本システムが自動生成し
た感性メタデータ
６
動画における感性印象量の変化の可視化
6
装飾機能を有する画集生成システム
７
• これまでのグラフィックデザインは，
静的にデザイナーが制作したもので
あり，動的に変化する受け手の意図
や状況に対応する表現をすることが
困難であったが，知識ベースシステ
ムの実現により，状況や意図に応じ
た動的デザインを可能とし，プロ品質
のデザインを全ての人に身近にする．
利用者がディスプレイ表現対象ドキュ
メントとデザイン目的,文脈に関する
情報を入力すると,専門家(デザイ
ナー)の専門知識を用いて,適切なデ
ザイン手法を計算し,デザイン手法を
適用したディスプレイ表現対象ドキュ
メントを出力する．ディスプレイ表現に
関して,専門家(デザイナー)の知識や
利用者の目的を知識空間として表現
し,利用者の属性やコンテクスト(文脈)
などを考慮した計量を実現する．
８
7
複数のメディアデータ感性空間間感性相関量計量方式 ９
とその自動Visual Jockeyシステムへの応用
主役メディア
♪
装飾メディア
メタデータを生成し写像する
メタデータを生成し写像する
感性空間変換マトリクス(MT)
♪
c1
c2
♪
cy
f1
f2
f3
fx
主役メディアデータ空間（S1）
装飾メディアデータ空間（S2）
※DJが複数枚のレコードを組み合わせて音楽を作るように、音楽に合わせ、映像を流す人のこと。ライブで映像を組み合わせ
たり、リアルタイムで製作したり、あらかじめ作っておいた映像を流したり、その手法は様々。
[Two‐Part Invention BWV772‐786 No.13 arrange Ver.1]
１位
２位
３位
４位
５位
１０
マルチメディアと感性データベースの分野において我々はメディアデータの直感的理
解を促進させるために、主役となる１メディアを他のメディアで装飾するような、新しい
マルチメディア作品を感性的に自動創作する「感性的マルチメディア自動デコレー
ション技術」を提案している。
しかしながら、各メディアデータを表現する感性メタデータ空間の構成は、各メディア
データの特徴量・心理学成果・メタデータの目的によって異なるため、異なるメディア
データ間の感性的相関量計量は難しく、重要な研究課題となる。
本研究において我々は、異なる感性メタデータ空間を持つメディアデータ間の 感性
的相関量計量方式を提案します。
本方式の特徴は、１つの感性メタデータ空間上にマッピングされているメディアデータの
特徴量を、他の感性メタデータ空間へ写像させるための特徴量変換マトリクスを作成し、
これを介してメディアデータ間の相関量計量を実現する点にある。
本方式の応用として”感性的相関量計量による自動Visual Jockey(※)システム”を示す。
8
連続メディア分析・可視化機構を有する
音楽データベース・システムの実現方式
１１
 調性を中心とした音楽要素に注目し、それら音楽要素の時系列的変化をクエリと
して表現するための、新たな音楽クエリ言語を提供する．
 本システムを用いた楽曲獲得例： ユーザは，ヘンデル作曲の「サラバンド」という
楽曲の，暗くて荘厳なニ短調の雰囲気と同じ特徴をもつ楽曲を検索。
 “サラバンド”における調性の時系列的変化を用いたクエリ生成・実行を行い，コレ
ルリ作曲の「ラフォリア」という楽曲が得られる。
 既存音楽データ群（MIDI）を用いて利用者の視点に応じたクエリを①時系列クエ
リ・マトリクスとして生成的に記述するための，②時系列クエリ/メタデータ生成関
数，および，③相関量計量演算子を設計，実装した．
Automatic Analysis
Sample MIDI
searching
Feature (Tonality）
Cmajor
time
①
Submit a
music data file
as a query
Music DB
②Generating Timeline‐Aware Query
Aminor
・・・
Dminor
Interval1
0.101
0.111
・・・
0.098
Interval2
0.05
0.142
・・・
0.235
Interval3
0.13
0.101
・・・
0.126
♪
♪ ♪
♪♪
③Analyzing results and visualization Evaluating
time-dependent
status of the
musical contents
１２
本システムを用いた楽曲獲得例：ヘンデル作曲の「サラバンド」という楽曲の，
暗くて荘厳なニ短調の雰囲気と同じ特徴をもつ楽曲を検索
“サラバンド”における調性の時系列的変化を用いたクエリ生成・実行を行い，コレルリ作
曲の「ラフォリア」という楽曲が得られる。
Submitted Query
Sarabande’s Tonalities on the timeline
The most Relevant Data
La Follia’s Tonalities on the timeline
feature（24 tonalities）
Cmajor
Time
Interval
Query
feature（24 tonalities）
Aminor
・・・
Dminor
Time
Interval
Cmajor
Aminor
・・・
Dminor
Interval1
0.101
0.111
・・・
0.098
Interval1
0.108
0.135
・・・
0.171
Interval2
0.05
0.142
・・・
0.235
Interval2
0.129
0.129
・・・
0.172
Interval3
0.13
0.101
・・・
0.126
Interval3
0.074
0.088
・・・
0.131
Result
9
１３
メイン・メディアの有するストーリ性を引き立たせるための
サブ・メディアデータ群の連続提供システムの実現
lighting color
(Sub-Media)
♪ Main‐Media
music
(Main-Media)
Query :
Main‐Media data
image
(Sub-Media)
fragrance
(Sub-Media)
Result :
Main and Sub‐Media data
・・・
The story line of Main‐
Media (Music)
t
Calculating the relation ship
Sub‐Media (Images)
image
・・・・・・・
Lighting color
・・・・・・・
１４
• 本研究は、メイン・メディアを装飾の対象となるメディ
ア、サブ・メディア： 装飾に用いるメディアと定義し、
メイン・メディアのストーリ性を強調するサブ・メディア
群提供システムの実現に向けての研究である。
Input ♪
Main‐Media
Main‐
Media
t
Sub‐Media
 ストーリー性の抽出
 サブ・メディア抽出
Sub‐Media
Cross Media Function
 サブ・メディア提供方式
 コンテクストに応じた連
続表示方式
Output ♪
Main‐Media & Sub‐Media
Sub‐Media
Gradation Function
♪
t
10
4D World Map System:
意味的・時空間的分析機構を有する
文書データベース情報可視化システムの実現
１５
本研究では，人文社会科学の文書データベースを対象とした，意味的・時空間的分析
機構を有する情報可視化システムを実現する．
本システムは，歴史的・文化的文書データ間の意味的・時空間的な関連性について
利用者の興味・関心・視点・テーマに応じて動的に計量・分析し，その結果を時系列で
並べられた世界地図（4D World Map Set）や3次元空間，2次元グラフなどの多次元表
現メディア上で可視化・表示するものである．
本システムの特徴は，多面的な内容を含む歴史的・文化的文書データを対象として，
利用者の興味・関心・視点と時空間情報の組み合わせに応じて，動的に，多種多様な
歴史的・文化的ストーリーを生成可能とする点にある．
Chronologically-ordered World Map Set
(4D World Map)
q
z
1
doc 1
mapping
doc 2
y
x
doc n
mapping
qv
t
q
2
Multidimensional Vector Space
For Semantic Calculation
Historical/Cultural
Document Database
１６
人文社会科学の研究者および学生にとって，関連するサブ領域・サブ分野の
情報源を含む大量の文書データ集合の中から，各自の関心・視点・問題意識
に応じた適切な情報を獲得することが重要な課題である．特に，歴史学，政治
学，社会学，比較文化学といった学問領域においては，文書集合の共時的分
析（文書内容の空間的な広がりに関する分析）や通時的分析（時間経緯に伴う
文書内容の変化の分析）が重要であり，文書間の意味的な関連性や時空間的
関連性について分析・可視化表現を可能とするシステムは，これらの分析や分
析結果の直観的理解を支援するものと考えられる．
11
年度
意味的・時空間的マルチメディア分析・可視化機構を有する
4D世界地図システムの実現 (5/5)
社会科学的貢献：
利用者の興味・関心・視点・問題領域（コンテキスト）と時空間情報の組み合わせに応じた，
動的な分析と可視化によって，利用者毎の多種多様な歴史的・文化的ストーリー（解釈）と
その再利用による新たな学術的メディア・コンテンツの生成を可能とする点にある．
Context
= “free trade”
Context
= “human rights”
Context
= “natural resources”
•時間
•空間
•意味・感性空間（多次元）
4D世界地図システムの目的
通時的分析と共時的分析 (3/3)
•
人文社会科学系の研究教育においては，ある地域で起きた事象およびその関連文
書・メディア情報と，同時期に他の地域で起きた事象・関連情報を空間的な広がりの
視点から比較分析（共時的分析）することが重要である．
•
（例）「17世紀の日本において江戸幕府が鎖国政策をしいていた時期に，世界では何が起こって
いたのかを，空間的な広がりに着目して俯瞰する」．
Picking up a specific era
Spatial Expanse
Specific Time
Specific Viewpoint
(Political Histories）
Political Histories of the World
17c
Appropriate Order to the Story
12
システム実行例
（米国‐各国首脳会談ドキュメント、1993‐2003）
共時的分析：コンテクスト別の文書検索結果を関連地理情報と共に可視化．
実験結果(2)
Context
= “free trade”
Context
= “human rights”
Context
= “natural resources”
通時的分析：コンテクスト毎の文書検索結果と関連地理情報を時系列で可視化．（各国首脳会談ドキュメント）
1995
1996
1997
1998
2000
2001
2002
Context=“conflict”
1999
個人のキャリア開発支援を対象とした異種の職
業情報と教育情報を連結・分析するメタレベル
知識ベースシステムの実現
２３
13
２４
• 近年，価値観，職業選択，教育機会の多様化といった社会的背景により，個人
に特化した学習計画やキャリア開発プランの設計が重要な課題となっている．
しかし，多様な職業，教育についての異種の情報資源間の連結メカニズムが存
在しない為に，実現が困難である．こうした背景から，個人に特化したキャリア
開発支援およびカリキュラムの動的なデザインを対象とした，異種の職業情報，
教育情報，個人の学習履歴及びキャリア情報などの関係を動的に計算可能な
計量系の実現は，これらの互いに独立に構築された情報源を相互運用可能な
形式で統合，編集し，検索可能にするものであり，高度な情報検索技術の応用
として重要である．本研究では，個人のキャリア開発支援を対象とした異種の
職業情報と教育情報を連結・分析するメタレベル知識ベースシステムを実現す
る．
遺伝子情報と病気の関連性を導く
データマイニング
• 対象とする課題：従来，医学分野において，特に遺伝子デー
タを対象とした分析については，統計的解析方法を分析の問
題ごとの適応を繰り返すことにより，専門家が分析を行って
いた．
• 本技術によれば，特に，SNPデータベースおよび臨床データ
ベースを対象として，網羅的に頻度分析を行い，SNPとその
表現型の関連を抽出する．具体的には，頻度分析として，臨
床データベース中の各値を一括し偏りを数値化することによ
り，その偏りの大きい部分を優先的に抽出可能とする．さら
に，臨床データベース中の連続値を対象とし，正常値・異常
値（正常値より高・低）自動判別することにより，頻度分析を
効率化する．
• 本技術は，遺伝子データと臨床データの関連を頻度分析に
より発見する方法について述べているが，当然ながら，医学
分野における一般的データを対象とした方法としても適用可
能である．
遺伝子情報と病気の関連性を導くデータマイニング [1/2]
14
１番
染色体
２番
染色体
２３番
染色体
DNA
(２重螺旋構造)
30億bp
・・・・・・・・
(base pair: 塩基対)
2列の塩基(生物は両親由来により
2列の塩基を有する)
遺伝子 (１遺伝子 → 1タンパク質)
１塩基の違い：SNP
Single Nucleotide Polymorphism
多型 (Polymorphism) ：人口の1%以上
全塩基対の約0.1%
(エクソン：コード領域，イントロン：非コード領域)
ー
＋
塩基配列
AATGCGATTGCAC・・・・・・・ATTG
AATGCGATTGCGC・・・・・・・ATTG
SNP Consortium: http://snp.cshl.org
JSNP:
http://snp.ims.u-tokyo.ac.jp
HAPMAP: http://www.hapmap.org
address + pattern
# of patterns: 4C2 (塩基：A,T,G,C)
SNP ID例：TNF - 308 A/G
タンパク質 前後 塩基数
address
pattern
c.f.: Microsatellite (2-5塩基対の反復が数個から
数十個繰り返された配列)
Haplotype (遺伝子やSNPの組)
遺伝子情報と病気の関連性を導くデータマイニング [2/2]
画像、音楽を対象とした
マルチメディア・データベース研究
• 近年，インターネット上におけるさまざまな音楽聴取スタイルにより，
ユーザは豊富な楽曲とその情報に恵まれている一方，日々増加する
これら大量楽曲の中から，ユーザの目的に合わせて，適切な楽曲を
選択し，聴取することが大変難しい状況になってきている．楽曲検索
の分野では，楽曲を分析し，内容や特徴に関するメタデータを抽出す
ることにより，一曲一曲の個性に踏み込んだ検索に関するチャレンジ
が行われてきている．
• 本研究は，楽曲の推移を表現する感性メタデータを生成することによ
り，一曲の印象推移が作り出す「印象深い部分の発見」や，「印象推
移と印象深さを対象とした検索の実現」を目的とする．本方式は，楽
曲の推移が感性に与える意味を扱うために，推移前と推移後の特徴
が持つ意味的差分を計量するためのImpression Gap Calculationアル
ゴリズムを中核とし，さらに，推移を作り出すさまざまな視点に対応す
べく，時間的粒度を扱うためのTree Structured Impression Metadataを
生成する．スライドにおいては，本研究の基本技術である，楽曲から
印象を抽出するための方式「Automatic Metadata Creation Method」
を示している．
画像、音楽を対象としたマルチメディア・データベース研究 [1/2]
15
Flow of the process
Automatic Metadata Creation Method for Music Data
Hevner’s transformation matrix
Minimum grain of music
6 elements of music data
Transformation matrix
Extraction 6 elements of the music data
Key
C1(dignified)
Rhythm value，Tempo value
Pitch value，Melody value
Harmony value，Tone value
Hevner’s 8 categories of impression words
Calculation a correlation between
6 elements of the music data and
8 categories of impression words
by using Transformation matrix
Impression of the grain
Correlation value of the
transformation matrix
C3 Dreamy
C6 Happy
C4 Serene
C5 Graceful
Hevner’s cyclic adjectives
Melody
18
3
4
C2(Sad)
‐12
‐12
‐19
3
‐7
0
C3(Dreamy)
‐20
‐16
6
‐9
4
0
3
‐20
8
‐2
10
3
C5(Graceful)
21
6
16
8
12
‐3
C4(Serene)
C6(Happy)
24
20
6
‐10
16
0
C7(Exciting)
0
21
‐9
2
‐14
‐7
C8(Vigorous)
0
6
‐13
10
‐8
‐8
c5
C1(dignified)
C7 Exciting
Harmony
‐10
Hevner’s 8 categories of impression words
Category
C2 Sad
Rhythm
‐14
1.267798
An example
C1 Dignified
Pitch
4
Impression of a grain
Category name (Adjective)
C8 Vigorous
Tempo
Adjectives of each cluster
Awe‐inspiring, dignified, lofty, sacred, serious, sober, solemn, spiritual
C2(Sad)
Dark, depressing, doleful, frustrated, gloomy, heavy, melancholy, mournful, pathetic, sad, tragic
C3(Dreamy)
Dreamy, longing, plaintive, sentimental, tender, yearning, yielding
C4(Serene)
Calm, leisurely, lyrical, quiet, satisfying, serene, soothing, tranquil
C5(Graceful)
Delicate, fanciful graceful, humorous, light, playful, quaint, sprightly, whimsical
C6(Happy)
Bright, cheerful, gay, happy, joyous, merry
C7(Exciting)
Agitated, dramatic, exciting, exhilarated, impetuous, passionate, restless, sensational, soaring, triumphant
C8(Vigorous)
Emphatic, exalting, majestic, martial, ponderous, robust, vigorous
感性の変移を計量するデータベース構築
• ユーザの心理的印象を現在の情況から別の情況へ
の遷移を促すシステムの構築を目指します．例えば，
「寂しい」という情況を少しずつ満たしてゆき，「落ち
着 いた」という情況へと遷移させてゆく，というもの
です．多くのメディアコンテンツ(静止画像，動画像，
照明など)を連続的に提供し，動的に環境をクリエイ
トことで，その環境に存在するユーザの心理的情況
遷移を促してゆきます．その際における，ユーザの
心理的情況の遷移を上手く促すように，多くのメディ
アコ ンテンツに順番を付けるアルゴリズムの研究が
メインとなっています．
感性の変移を計量するデータベース構築 [1/2]
16
遷移計量過程図
感性の変移を計量するデータベース構築 [2/2]
味覚感性データベース
• ネットワーク上の料理・飲料検索エンジンにより，料理データ
が増加し，「未知の料理データ 」が散在している．これらの料
理データの検索支援には，多様な対象データを統合的に取
り扱う印象検索方式の実現が有効である．料理データを対
象にした印象 検索においては，そのジャンル・テーマなどに
おいて，味覚印象語の意味が大きく異なる．
• 料理データを対象にした印象検索においては，そのジャン
ル・テーマなど（以下味覚ドメイン）における味覚印象語の意
味を，独立して定義する必要がある．本研究では，味覚ドメ
インによる味覚印象語の多面性を対象としたメタデータ生成
方式を示す．
• 本研究では，任意の味覚データを対象として印象表現の多
義性に応じたメタデータ生成，および，問い合わせ処理方式
を示す．これにより，料理データが有する極めて多様な味覚
印象を，統合的に検索対象とすることが可能となる．
味覚感性データベース [1/2]
17
システムの概要
Retrieved
Food & Drinks Data
Search Keywords
Q  {Wn , Cx }
Metadata Space
for Cx
Taste Scope 1
Taste Scope2
MD for Keyword Data1
言語
表現
Correlation
Calculation
MD for Target Data1
Taste Scope n
Keyword MD2
Keyword MDn
・・・・
Target MD2
Taste-impresion Metadata
Extraction Module Ge
Standardized Sensor Outputs
感覚量
味覚印象
メタデータ
生成モジュール
Standardizations Module Pz
Sensor Outputs
物理量
Target MDn
Beer Data
標準化モジュール
味覚センサー
味覚感性データベース [2/2]
画像処理による花図鑑データベース：
マルチメディアデータベース研究
ユーザが共同で花画像情報を登録し
共有できる
コミュニティの構築
人間の知的活動の活性化
• コミュニティに蓄積された画像による知識情報、共
有資源を利用して記憶の想起を行う．
画像処理による花図鑑データベース [1/2]
18
画像処理による花図鑑データベース：
マルチメディアデータベース研究
特徴
対象の限定
画像の定形化
Sample Images
名前 桔梗
時期 6～8月
Query Image
CBIR
名前 アジサイ
時期 6～7月
(Content-Based Image Retrieval)
Extracted
Metadata
名前 ー
時期 ー
Metadata
名前 アネモネ
時期 3～5月
・
・
・
・
画像処理による花図鑑データベース [2/2]
ＪＲ東日本‐慶應ＳＦＣ 共同研究２００８‐２０１１
鉄道利用環境データを対象とした
動的表示システムの研究
慶應義塾大学ＳＦＣ
清木研究室
19
鉄道利用環境への応用
（JR東日本寄付講座
交通運輸情報システム・プロジェクト）
①駅構内を対象とした次世代デジタルサイネージ
②駅構内カフェ等飲食スペースの装飾
③駅にまつわるコミュニティの記憶
④新幹線を対象とした夜間の窓の装飾
①駅構内を対象とした次世代デジタルサイネージ
 “公共交通機関における商業スペース”を対象とした広告コンテ
ンツの自動配信を目的として、駅構内に設置されたデジタルディ
スプレイを対象に、利用者と場所のコンテキストに応じた広告
データの自動編成・配信機構を実現する。
マルチデータベースによる
動的・多面的情報統合
利用者と環境のコンテ
キストに応じた広告
データの自動的配信
40
20
②駅構内カフェ等飲食スペースの装飾
 駅構内カフェ等の飲食スペースにおいて、センサを用いて検
出した雰囲気に応じて絵画を装飾して壁面に投影し、快適な
飲食空間を実現する。
センサを用いて
検出した雰囲気
に応じて絵画を
装飾して壁面に
投影
41
③新幹線を対象とした夜間の窓の装飾
 新幹線の窓に、広告・アート情報を投影し、夜間の
新幹線の移動を快適にする。
 また、沿線の観光情報、名所、歴史を表示し、教養
を伴った旅の案内を行う。
超・短焦点プロジェクタ使用
（壁から8センチの焦点で掲示可能）
42
21
３D遠隔コラボレーション異文化交流環境の実現
Mapping media data onto a feature/impression vector space
c
Finnish Art Images
FI={If-1, If-2, …, If-n}
c
1
If-2
If-4 If-1
Ij-3
I
f-3
Ij-2
Ij-5
Ij-1
v
If-5 Ij-2
c
2
Japanese Art Images
JI={Ij-1, Ij-2, …, Ij-m}
Commonality and difference are calculated
Mapping the calculated results
onto the 3D CCS
(Cross-cultural Art Museum)
Distances among media items on the 3D CCS
represent the calculated results on the
feature/impression space
International Multimedia Knowledge Base Research Collaboration
Univ.of Jyväskylä (Finland)
NICT
Tampere Univ. of Tech.,
(Finland)
Keio Univ. SFC
Christian Albrechts Univ.
at Kiel (Germany)
VSB-Technical Univ.
of Ostrava (Chez Rep.)
EEPIS-ITS (Indonesia)
NECTEC (Thailand)
•Digitized Thailand
Project
22
Demo-3: 3D Cyber Space Museum for Art works
In 3D Cyber Space Museum [ 1/3 ]
Demo-3: A design of allocation of Art works
In 3D Cyber Space Museum [2/3]
(1) By Time line (using published y/m/d for Art, Exif data for photos)
Era
A.D.
Kaei
Ansei
1810
1820
1950
Genji
1860
Bunsei
Keio
1880
1890
t
(2) By Kansei context
e.g.
Context=“vivid”
Correlation
23
Demo-3: A design of allocation of Art works
in 3D Cyber Space Museum [3/3]
(2) By Kansei context
e.g. Context=“mysterious”
0.083
0.071
0.070
0.069
0.055
0.045
0.044
0.031
0.066
0.062
Thai
Arts
Japanese
Arts
0.029
0.027
Correlation
ユビキタス体験連動型グローバル教育環境
 その時、その場でもっとも必要な教材を活用するユビキタス学習支援システムを構築
 生活空間における実践的体験学習環境を実現
iPod/iPhoneを用いた学習者の状況検出
デジタル・メディア教材・アーカイブ
メディアセン
ター蔵書情報
電子教材
GPSを用いた位
置情報の測位
カメラを用いた
周辺風景・ランド
マークの撮影
映像
音声 文章
外部リソース
S
デジタル・メディア
教材選択エンジン
iPod/iPhone
Web情報閲覧履歴
その時、その場でもっとも必要と思わ
れる教材を自動的に学習者に配信
教材A
教材B
体験連動型
教材
教材C
S
S
状況X
映像
音声
S
文章
ネットワーク配信
状況Y
状況Z
48
24
ユビキタス体験連動型グローバル教育環境
外国語教育への適用例
SFC d‐modeプロジェクトで
開発された電子教材環境
ドイツ語学習者が日常生活でバスに乗る際に、
学習者に、ドイツ語で行き先についての聞き方を
音声、動画、例文で配信
 “今”、“ここ”にいる状況での生きた経験と外国
語学習を直接結び付けることができる学習環境の
実現
学習者の状況のセンシング
デジタル・メディア教材選択
エンジン
学習者がバスに乗ろうとし
ている場合
バス乗車に関する音
声・動画・例文の抽出
GPSを用いた位
置情報の測位
カメラを用いた
周辺風景・ラン
ドマークの撮影
iPod/iPhone
ドイツ語でのバス会話音声、学習ビ
デオ、例文集が選択され、学習者
に自動的に配信
のiPodに自動的に配信
状況に応じた電子教材を、無線ネットワークを通じて配信
49
動画教材を実空間上に配置
教材作製者は、動画教材を配信す
る場所をマークし、動画ファイルを
アップロードする。本システムは、
学習者が当該ポイントに移動する
と、自動的に動画像へのリンクを
提示する。
動画像内で行われている会話内
容を入力。
50
25
ユビキタス体験教育環境を用いた質の高い授業の実施
•新たな知識・技能をいつでもどこでも実践的に活用する教育環境として、ユビキタス体験教育環境を設計、構築
•携帯情報端末を対象として、ドイツ語教材を配信するユビキタス体験教育環境を設計・構築し、試験的運用を開始
ドイツ語教材開発研究プロジェクトは、SFCの学生及
び教員・研究員で構成されており、学習者にとって
より良い学習環境を整えることを目的に活動。本プ
ロジェクトでは、SFCにおけるドイツ語学習環境のモ
デルとして、教室内での学習を行い、その後に、教
室外での学習を行う、またその繰り返しを有機的に
連結させて行う流れ（右図）を提示。
ドイツ語教材開発研究プロジェクト
自律学習支援システム
http://dmode.sfc.keio.ac.jp/
スマートフォンを対象とした動画像教材
配置・自動配信環境
教材作製者は、動画教材を配信する
場所をマークし、動画ファイルをアップ
ロードする。本システムは、学習者が
当該ポイントに移動すると、自動的に
動画像へのリンクを提示
自立学習支援のための
教材システム群
動画像内で行われて
いる会話内容を入力。
ドイツ語教材コンテンツ作成、ドイツ語授業での教材利
用と評価、および海外研修での試験的実施
• SFCドイツ語教材開発研究プロジェクトにて電子教材コンテンツを作成
– http://dmode.sfc.keio.ac.jp/
Webサイトを通じて作成した電子教材を公開
• ドイツ語講義における教材コンテンツ作成とサーバへの蓄積、教材提供iPod
の利用環境の構築を行い、Ｈ21年3月8日～3月20日の期間にわたり、ドイツ
州立ハレ‐ヴィッテンベルク大学、および、ドレスデン工科大学にて、学生8名
による実地学習を実施
電子教材コンテンツ作成の様子
電子教材コンテンツの公開
ドイツでの実地学習の様子
電子教材コンテンツ（ iPod対応版）
SFCドイツ語教材開発研究プロジェクトでは、複数
の教員、学部生、大学院生、研究員たちが集まり、
教材の作成・実施・改善・評価に至るまでのプロセ
スを共同で構築
52
26
画像と時空間情報の統合的利用による生物識別システム
と大局的生物生息情報の可視化への応用
生物候補の絞り込み
クエリ画像
生物候補をユーザに提示
オリジナル色ヒストグラム 背景除去後の色ヒストグラム
ユーザが生物を
選択
ユーザに生物情報を提供
akashobin5
・本研究は，色彩情報および時空間的文脈情報のみを用 いて，画像ファイル上の生物を識別す
るためのシステムとである.
・生物画像に関して，撮影された場所や時期に関する情報，および，色彩情報を組み合わせて利
用することにより，ユーザにとって未知の情報や知識の獲得を支援することが可能となる．
・ユーザが入力した画像に関して，画像の色彩分布のヒストグラムをマンセル表色系で用いられ
ている130色から背景となりやすい色を除き，生物データベース（ＤＢ）の色彩分布の割合との類
似度を計量する．
画像と時空間情報の統合的利用による生物識別システム
と大局的生物生息情報の可視化への応用
インターフェース
色分布情報マッチング機能
カワセミ
Imput = image with Exif
ク
エ
リ
処
理
時間データマッチング機能
海岸や川、湖、池な
どの水辺に生息し・・・
空間データマッチング機能
意味関連性計量機能
時期：○○○○年××月
可視化機能
・ユーザが撮影した画像に関し，時空間情報などのメタデータ
を付加し地図上にマッピングする
・このような可視化により，ユーザは，ユーザが獲得を想定し
ている撮影画像に関する知識だけでなく，獲得を想定してい
ない撮影生物及び撮影場所や撮影時間に関連する知識も獲
得可能となる
・また、大局的生物生息情報を可視化することにより、生物の
生息が時間による変化に関する知識や対象となる生物同士
の意味的な繋がりに関する知識を獲得することも可能となる。
地域：アジア
アメリカ
ヨーロッパ
：
関連性ランキング
１
クマゲラ
２
オシドリ
：
27
Imagination‐based Image Search System with Dynamic Query Creation and Its Application
Diep NGUYEN‐THI‐NGOC, Shiori SASAKI and Yasushi KIYOKI
Keio University, SFC
Experiment 1.1: Plus operation
• Imagination: yellow flower in blue sky
• Meaning of Plus operation: Addition operation on mathematics (Arithmetic operation – Numerical operation)
• ‐> Combination by sum of values of color bins in two histograms
• Correct results : 9/10
28
Experiment 1.3: Accumulation operation
• Imagination: sunset sky and image of red leaf
• Accumulation operation: Union operation on set operations (Logical operation)
• ‐>combination of the dominant values of color bins in two histograms
• Correct results: 10/10
I want to search for
video with these
scenes
A COLOR-CONTENT BASED VIDEO RETRIEVAL
SYSTEM WITH A TIME-SEQUENCE ANALYZER
You want to
watch these
movies?
Video segmentation
Color feature analysis
Call of the wild
Time analyzer
For each input scene
sequence/video, the system
do the following tasks:
• Extract frames of the
video
• Analysis color histogram
of each frames
• Matching frames
histograms to retrieve
videos, which have longest
i il
Matching scenes
using Longestcommonsubsequence
algorithm
Scene Database
Discover
y
Video Database
Lion King
29
アロマテラピーにおける心理的作用
の関連性を計量する
意味的検索空間の実現
◆本方式は、アロマテラピー（芳香療法）におけるエッセンシャルオイル（精
油）と心理的働き・効果の関係，および，エッセンシャルオイルと利用者が必
要としている心理的効果の関係をマトリクスとして表現することにより，自然
療法の知識を反映した意味的検索空間の実現する．
◆本方式を作成するにあたって意味の数学モデルによる意味的連想検索方
式を適用した意味的検索空間を作成する．
アロマテラピーにおける心理的作用の関連性を計量する
基本アイデア 意味的検索空間の実現
心理的効果
・
・
・
エッセンシャ
ルオイルDB
エッセンシャル
オイル
心理・精神的
効果
え
エッセンシャルオイル名
・
・
エッセンシャルオイルの効果
・
・
・
えｓｓ
・
心への働き
求める心理的効果
改善・回復したい状況
検索対象
ベクトル
間作成用マトリクス
意味的空
意味的
検索空間
検索語
ベクトル
効果的な
エッセンシャルオイル情報
30
色彩に応じた料理レシピ検索・共有
ソーシャルコミュニティ・システム
日常的に撮影した料理写真を入力することで、色彩に
より相関量を計算し、レシピーをランキング表示
③結果
食べた料理の写真をとっ
たけど何の料理なんだ
ろう…
①検索
1.Curry
spicy
650kcal
potato
onion
Chuiken
carrot
②抽出
2.omeletrice
heavily
800kcal
egg rice
butter
milk
ketchup ①検索: ユーザのもつ画像を入力
②抽出: 色彩の相関量計算により、既存のデータ
ベースから類似する結果を抽出する
③結果： 検索結果をランキング順に表示
誰もが使用しやすい色彩に注目することで料理の検索・共有が可能となる。
学習者の状況・嗜好に応じた教材配信機能を有する
体験連動型マルチリンガルe‐Learningシステム
教室における
体系的知識の獲得
Lesson 1
カリキュラムに
即した学習
Lesson 2
状況に応じた
教材の再構築
空港
空港での
会話
Lesson 3
駅での会話
Lesson N
知識間の関連に注目
現場における知識の実践、および、
体験と連動した実学的知識の獲得
実生活・
体験
店での会話
実生活に即した教材配信
•本システムは，学習者の実生活における体験を表すメタデータから，その体験に関
連のある学習教材を検索，配信するシステムである。
•本システムの特徴は、体験のメタデータと教材のメタデータの間の関連を，個人の
嗜好を反映して定義したマトリクス（知識‐体験連結空間）により，教材配信における，
教育効果を損なわない限定的な個人化を行う点である．
•本システムの利用者は，GPS機能を持つ携帯端末を用いて，自分が学習する言語
の教材群から，個人の興味・関心に関連し，実生活での体験に連動する教材コンテ
ンツを自動的に取得できる．
31
AFP Video Forum
http://www.afpwaa
.com/
多言語・学習者の嗜好に対応した知識‐体験連結空間による，
教材と実生活での体験との相関計算
学習者
言語別
教材
各言語に
対応した
知識‐体
験連結空
間
学習者の体験と教材コンテン
ツとの関連を動的に計量
体験に応じた
学習内容
個人の興味・関心に合わせた教材
配信の実現
教育効果を損なわずに教材配信の個人
化を行うための手法として，各学習者に
対して個人化のための拡張領域を持つ
教材・体験連結空間を作成する．
個人化の影響を受けない不変
部分
・・・体験
・・・
0 1 110 ・・・
学0 1 0・・・・・・
習 0 1 ・・・
内
容
スペイン語
1 0
・
・
・
etc.
英語・スペイン語・ドイ
ツ語などのマルチリン
ガル，動画・音声・テキ
ストなどのマルチメ
ディア教材を配信する．
学習内容
に応じた教
材獲得
英語
・・・
・・・・・・
・・・
・・・
スペイン語単語
教材
etc.
教科書
的特徴
量
個人化のための拡張
領域
体験の
時空間的
特徴分析
体験の特徴量
各学習者
の興味・
関心に関
わる特徴
量を反映
する．
法律文書を対象とした意味空間データベースの構築
（法律に関する文書群における目的志向独立意味空間の形成および複数
の意味空間の連結による統合的意味計量空間システムの構築） (2)
•
•
•
形態素解析の際には
専門用語辞書が利用
され、「二重の基準論
」のような複合語のク
エリでも単語の重み
が計算される。
近い意味を持つグル
ープの単語のTF/IDF
を分類に従い集約す
ることで、検索対象の
大まかな意味内容の
比較が可能となる。
特定分野、複数分野
に着目した意味の計
量や全体的な意味を
考慮した統合的意味
計量が可能となり、あ
らゆる分野の文書に
対して応用可能性が
ある。
システム構成図
法律文書
DB
専門用
語辞書
クラスタリ
ングデー
タ
形態素解析（MeCab使用）
品詞選択スクリプト
TF/IDF計算
クラシフィケーション
（単語の分類）
文書に含まれる
単語リスト
文書ごとの
単語のTF/IDF値
分野ごとにTF/IDF値を
振り分けたメタデータ
空間選択（独立/統合空間）
法律文書
DB
法律文書に
よるクエリ
空間へのマッピング
Semantic Spaceを作成
Correlation‐Computing
Semantic Space
Correlation Ranking
2010.12.14
32
法律文書を対象とした意味空間データベースの構築
（法律に関する文書群における目的志向独立意味空間の形成および複数
の意味空間の連結による統合的意味計量空間システムの構築） (1)
•
•
目的：検索の目的によっ
てその目的に適した意味
空間上に法律文書をマッ
ピングし、相関度計算を
行うことにより、より利用
者の意図に近い文書検索
を実現することのできる目
的志向法律文書検索シス
テムの構築
G14 国会
G15 内閣
G18
憲法保障
Space Z: 統治
G16 裁判所
G17
財政・地方自治
Z
背景：従来の法律や判例
Space IS： 統合空間
を検索するデータベース
には、全文検索システム
や参照条文から判例を検
索する機能は存在するが
Space Y: 人権
、内容が同一ではなく、異
Y
なった用語を用いているも
社会権
G5
基本的人権の原理
G13
のの、意味的に関連性の
高い法律文書を検索する
G12
G6 基本的人権の限界
ことは困難
G7 包括的基本権と法の下の平
国務請求権と参政権
等
G8 精神的自由権（1）内心の自由
G11
人身の自由
2010.12.14
G9 基本的自由権（２）表現の自由
G10 経済的自由権
X
Space X： 総論
G1 憲法全般
G4
平和主義
G2
憲法史
G3
国民主権
意味の数学モデル（MMM: The Mathematical Model of Meaning）
• 本研究では、言葉の意味解釈、感性の解釈といった人間の有する高度
な記憶機能に近い新しい機能を扱うマルチメディア・データベースシステ
ム（画像、 音楽、音声、文書などを意味的、感性的に扱うデータベースシ
ステム）として、 “意味の数学モデル（MMM: The Mathematical Model of Meaning）” というデータベースシステムのモデルを提案し、このMMMを
応用した多くのマルチメディア・データベースを構築しています。
• これからの新しい情報環境として、画像や音楽、動画などのマルチメディ
アデータを検索する場合、文字列や数値の検索とは異なり、印象や連想
される言 葉などからユーザーが求めるデータを見つけ出すことが期待さ
れています。このMMMによるシステムは、ユーザーが「悲しい」「明るい」
「荘厳な」などの感 性を表わすキーワードを発行すると、その意味を解釈
して、それらと意味的、感性的に関連の強いメディアデータを動的に抽出
するというものです。ユーザー は、データベース内でのデータ表現を意識
することなく、自分の好きなキーワードで検索することが可能となり、とて
もユーザーフレンドリなデータベースアク セス環境を実現することができ
ます。
意味の数学モデル（MMM: The Mathematical Model of Meaning） [1/4]
33
意味の数学モデル（MMM: The Mathematical Model of Meaning）
• 本システムの最大の特徴は、言葉の意味を特定するための
文脈を理解する機構「意味的連想検索」を実現している点に
あり ます。言葉の意味を特定するには、文脈や状況を特定
する必要があります。例えば、単に「ブルー」という単語だけ
では、それが意味する範囲が広すぎて、何を 検索したいの
かが分かりません。これに文脈を説明する単語、例えば、
“自然” という文脈では、“空” や “海” という意味が現れてき
ます。また、「クリスマス」という文脈と結合すれば「ブルーク
リスマス」「憂鬱で寂しい」という感情が出てきます。あるいは、
“交差点” という文脈では、「赤色」とか「黄色」と伴って、「信
号」という意味が現れます。人間には、1つの情報が入ると、
その文脈に応じた意味の近い情報を瞬時に 引き出す、すな
わち、 “文脈に応じて記憶想起する” という優れた能力があ
ります。
意味の数学モデル（MMM: The Mathematical Model of Meaning） [2/4]
意味の数学モデル（MMM: The Mathematical Model of Meaning）
• “意味の数学モデル” は、そのような文脈に応じた意味的、
感性的検索を実現することを目指したものです。この研究で
は、データ間の意味的、感性的な同一性、差異性は、静的な
関 係によって決定されるのではなく、文脈や状況に応じて動
的に変化するものと考え、データ間の意味的、感性的な等価
性、類似性、関連性を文脈に応じて動的に 計算する計量モ
デルとして、この「意味の数学モデル（MMM）」を提案してい
ます。2つの概念の間にはほぼ無限の関係があり、その2つ
の関係が決まるのは 文脈が与えられた時だけであるという
発想から、文脈を計算して2つの概念（オブジェクト間）の関
係を多次元ベクトル空間（現在、約2000次元のベクトル 空間
を構築）上の距離として計算する仕組みを作りました。
意味の数学モデル（MMM: The Mathematical Model of Meaning） [3/4]
34
“Mudflow Warning System”
Demonstration
Yasushi KIYOKI
SFC, KEIO University,
5322 Endoh, Fujisawa, Kanagawa, 252‐8520, Japan
[email protected]
www.mdbl.sfc.keio.ac.jp
Yukio (Xing) CHEN
Department of Information & Computer Sciences
Kanagawa Institute of Technology
1030 Simo‐Ogino, Atsugi‐shi, Kanagawa 243‐0292, Japan
[email protected]‐it.ac.jp
Information System for Managing Risks on Natural Disasters– Indonesian Case –
Policy decision makers
Disaster area
Deep analysis of risk information
Digital road sign of traffic damage
Risk Management Server
Mobile phones
First‐aid actions to local people
All Right Reserved, Copyright © takafumi nakanishi, NICT. 2008
• Collection and analysis of disaster information
• Evaluations of local/global risks include those affecting:
– Transportation risk
– Healthcare risk
– Economical risk
– etc.
• Provision of risk information
35
Mudflow in Indonesia
The Mudflow Semantic Elements
Steam gas
Mud
36
Disaster Monitor Cameras
Video 01
Video 02
Video 03
mud
steam
The Mudflow Warning system
System construction
Monitoring cameras
Recognizing the
semantic signal
Video signal
processing
The
warning
messages
Store
Video DB
Warning
message
DB
37
This image shows
that the warning
massage is received
by the other three
mobile-phones at the
same time.
38