電子情報通信学会ワードテンプレート (タイトル)

DEIM Forum 2014 P3-2
測域センサデータのリアルタイム可視化システム
小島 光平†
岡崎 有彩†
佐藤 充†
蒔田 圭佑‡
白井 暁彦*‡
大塚 真吾†‡
†神奈川工科大学 情報工学科 〒243-0292 神奈川県厚木市下荻野 1030
‡神奈川工科大学大学院 工学研究科 〒243-0292 神奈川県厚木市下荻野 1030
*神奈川工科大学 情報メディア学科 〒243-0292 神奈川県厚木市下荻野 1030
E-mail: †{s112160, s1021042, s1021079, s1385022}@ccy.kanagawa-it.ac.jp, {shirai, otsuka}@ic.kanagawa-it.ac.jp
あらまし コミュニケーションロボットやデジタルサイネージといったデジタルコンテンツを体験しているユーザに対して
物理的な評価を行うことで，システムの質的向上や工学的なコンテンツ開発ノウハウを蓄積できる．そこで非接触でユーザ属性
を測ることが可能な測域センサを用いてユーザ動作の可視化をリアルタイムで行うことが可能なシステムの提案をする．
キーワード 測域センサ、情報可視化、データ解析
1. は じ め に
ができないなどの問題点もあった．そこで，本稿では
近年，センシング技術の発展に伴い多様なセンサよ
測域センサから得られるデータを適切に処理し，ヒー
り取得した膨大なデータを元に，ユーザ行動評価を行
ト マ ッ プ や 3D の 等 高 線 と し て 可 視 化 と そ の リ ア ル タ
う研究が，戦略的創造研究推進事業における東倉らに
イム化について検討を行う．
よる「共生社会に向けた人間調和型情報技術の構築」
[1]な ど で 進 め ら れ て き て い る ．空 間 内 に お け る ユ ー ザ
2. 関 連 研 究
の自然な行動を，アンケートや主観的評価ではなく物
本研究の関連研究としては，里らによる遠隔臨場感
理的に測定する事は，インタラクティブなコンテンツ
シ ス テ ム に お け る HMD 装 着 に よ る 注 視 点 測 定 [8]や ，
などの質的向上やデジタルサイネージなどの広告メデ
上 岡 ら に よ る 血 流・血 圧 や 呼 気 ，GPS 装 着 に よ る 測 位
ィアを設置する際に設定する料金の参考データとなる
な ど 装 着 物 を 使 っ た 測 定 法 [9]，江 田 ら に よ る 個 体 識 別
な ど そ の 意 義 は 大 き い [2]．例 え ば ，駅 構 内 で の 広 告 掲
を目的としないセンサネットワークから，人の動的な
載の料金設定は，広告が見られる機会は駅の利用者に
行 動 把 握 を 行 う 事 で 省 エ ネ を 目 指 す 手 法 [10]， 無 線 ネ
比例して増加するという考えから，１日あたりの乗降
ットワークから得られる赤外線センサデータを用いて
客数や路線数などのデータをもとに算出されていると
人の移動や在席状況を同時に推定することで消費エネ
考 え ら れ る [3][4]．し か し ，そ の よ う な 手 法 で 定 め た 広
ル ギ ー の ム ダ を 省 く 手 法 [11]．そ し て ，中 根 ら [12]に よ
告料設定が，果たして設置された場所に対する対価と
る，各階に設置されたセンサから得られた消費電力お
して本当に適切であるかは疑問である．
よび人の行動といったセンシングデータを，全体から
ま た ， 計 測 に 使 用 さ れ る 機 器 は GPS や Wi-Fi， 加 速
俯瞰できるような可視化システム，森による，床や椅
度 計 な ど の 携 帯 型 セ ン サ や Web カ メ ラ や レ ー ザ レ ン
子，ベッドや家電など日常使用するものをセンサとし
ジスキャナといった設置型センサなど多岐にわたる．
て用いる事で，室内に人の存在を検出するようなセン
不特定多数のユーザ行動を把握するためには，個別に
シングルームを構築し，人の行動パターンを予想する
計測端末を所持する必要がない設置型センサが多用さ
研 究 [13]， 体 験 者 へ の ア ン ケ ー ト や ゲ ー ム シ ス テ ム に
れ る ． Web カ メ ラ を 用 い た 顔 認 識 シ ス テ ム で は 処 理 デ
おけるコイン投入数などのマーケティング手法，船津
ータが大きく，認識距離が短いなどの欠点があった．
ら に よ る CG ア ニ メ ー シ ョ ン 生 成 に お け る 確 率 場 に よ
我々はこれらの問題に対して，ユーザの自然な行動
る シ ミ ュ レ ー シ ョ ン [14]な ど が 存 在 す る ．
を 物 理 的 に 測 る こ と の で き る 測 域 セ ン サ (レ ー ザ レ ン
ジ ス キ ャ ナ )を 使 用 し ，ユ ー ザ 非 装 着 型 エ ン タ テ イ メ ン
事 例 と し て は ，「 情 報 爆 発 時 代 に 向 け た 新 し い IT 基
ト 空 間 評 価 手 法 ResBe(Remote entertainment space Be
盤技術の研究」として京都大学キャンパス内に構築さ
havior evaluation) ，及 び 行 動 抽 出 の 高 速 化 の 検 討 ，研
れている多視点の映像・音声記録システム，モーショ
究 を 進 め て き た [5][6][7]． 測 域 セ ン サ は 半 径 270 度 を
ンキャプチャシステム，アイマークレコーダー，生体
走 査 し 30 メ ー ト ル ま で 認 識 で き る ．暗 闇 に も 強 く プ ラ
デ ー タ 計 測 機 器 が 利 用 で き る 実 験 工 房 「 IMADE-PROJ
イバシに配慮できるなど長所も多い．しかし長時間に
ECT」 [15]， 吉 田 ら の シ ョ ッ ピ ン グ カ ー ト や 携 帯 電 話
わたって取得したデータを数日単位で可視化すること
な ど の 端 末 に 取 り 付 け ら れ た RFID や IC な ど の タ グ
図１：システム構成
図２：データの概要
を店内の各種センサで読み取ることによるスーパー内
での顧客，従業員の行動把握や作業の効率化，陳列・
データ処理
ポップなどの配置検討に利用するもの，駅構内や空港

などに設置されているデジタルサイネージコンテンツ
の 視 認 率 と い っ た 広 告 効 果 ・ 広 告 料 評 価 シ ス テ ム [16]
CSVファイルからヒートマップ画像を生成
CSV
査場の混雑情報を別の場所に提示するデジタルサイネ
Merge
X
１ファイル化
(１行複数データ）
Time
10:00
10:01
ID1
1
1
X1
0
0
Y1
100
150
１行１データ化
座標変換
Time
10:00
10:00
10:01
10:01
ID
1
2
1
2
X
0
50
0
50
Y
100
50
150
50
CSV
Convert
XX
CSV
CSV
Mapping
ー ジ シ ス テ ム [17]な ど が 存 在 す る ．
X
CSV
Formatting
and coloring
3. シ ス テ ム 構 成
複数ファイル
CSV
CSV
や，椿らのデジタルサイネージに搭載された認識カメ
ラで撮影した映像から背景差分を用いて空港内保安検
XX
X
CSV
X
XLSM
x, y カウント
マップ化
エクセルマクロ
整形、カラーリング
Heat
map
X
0
0
1
Y
2
3
1
3
2
1
0
Y/X
COUNT
1
1
2
1
1
0
0
0
ID2
2
2
X2
50
50
X
0
1
0
1
3
2
1
0
Y/X
Y2
50
50
… IDn Xn Yn
… IDn Xn Yn
… IDn Xn Yn
Y
2
1
3
1
1
1
0
0
0
0
0
2
0
1
0
0
2
0
1
PNG 画像を出力
我々が以前提案したユーザ非装着型エンタテイメ
ン ト 空 間 評 価 手 法 (ResBe)の 説 明 を 行 う ．我 々 は ，赤 外
線センサを使用する事で非装着かつ被験者に計測を意
図３：データの処理と可視化
識させず評価を行い，人が訪れた事や軌跡を計測する
る．次に 1 行のデータには認識した人数分のデータが
だけではなく，人が空間内のどの位置に多く・長く滞
含まれるので，1 行に 1 ユーザのみのデータに変換し
在したかを可視化する事で，より体験空間内での人の
流動や空間使用率など被験者状態の識別が可能となる．
座 標 変 換 を 行 う こ と で 処 理 を し や す く す る ．次 に x，y
座標をカウントし滞在時間を計測しマッピングを行う．
最 後 に Excel マ ク ロ を 用 い て マ ッ ピ ン グ さ れ た テ キ ス
3.1. データ収 集
本システムは図１に示すように，データ収集とデー
トファイルを読み込み，整形，色付けをして自動的に
PNG 画 像 と し て 出 力 す る ．
タ処理，可視化の 3 つの要素から構成される．まず，
赤 外 線 セ ン サ （ 北 陽 電 機 株 式 会 社 製 UTM-30LX（ 以 下
測 域 セ ン サ ））を USB2.0 で ネ ッ ト ブ ッ ク（ ASUS 社 U
L20A/Windows7）に 2 台 接 続 す る ．ネ ッ ト ブ ッ ク 内 の
北 陽 電 機 社 製 流 動 計 測 ソ フ ト ウ ェ ア 「 Flow Radar」 を
用 い て 人 を 認 識 し て 現 在 時 刻 ，人 数 ，ユ ー ザ ID，ユ ー
ザ 座 標 (x， y)を 毎 秒 記 録 し 10 分 毎 に CSV フ ァ イ ル と
し て 出 力 す る （ 図 ２ ）． フ ァ イ ル は Doropbox を 利 用 す
ることでインターネットを通じてデータ処理用のコン
3.3. 可 視 化 のリアルタイム化 について
3.1 節 で 述 べ た よ う に ，座 標 デ ー タ（ CSV フ ァ イ ル ）
は Dropbox を 通 じ て ネ ッ ト ブ ッ ク か ら 転 送 さ れ る た め ，
デ ー タ 処 理 と 可 視 化 を 行 う マ シ ン の Dropbox フ ォ ル ダ
と 定 期 的 に 監 視 し ，新 し い CSV フ ァ イ ル が 存 在 す る 場
合 は ，デ ー タ 処 理 と 可 視 化 を 自 動 的 に 行 う よ う に し た ．
これにより，新たなデータが生成される毎に自動的
に可視化を行うことが可能となる．
ピュータに転送される．
4. 実 験
3.2. データ処 理 と可 視 化
大 量 の 座 標 デ ー タ を 処 理 す る 必 要 が あ る た め C++を
用いて，収集したデータを変換するプログラムを作成
し た ． デ ー タ 処 理 と 可 視 化 の 概 要 を 図 ３ に 示 す ．ま ず ，
10 分 ご と に 出 力 さ れ た 複 数 の CSV フ ァ イ ル を 結 合 す
2013 年 4 月 27 日 ， 28 日 に 幕 張 メ ッ セ で 開 催 さ れ た
ニコニコ超会議 2 というニコニコ動画のオフラインイ
ベントにて本システムを用いて来場者の可視化を行っ
た．同イベントで展示された「ニコニコメガネ」ブー
ス に 2 台 の セ ン サ を 設 置 し デ ー タ 収 集 行 っ た （ 図 ４ ）．
Event space
Our showpiece
User
Sensor
Recognition area
Sensor
図４：実験環境
1 日 目 の 午 前 10 時 か ら 午 後 6 時 ま で の 8 時 間 で は 約
28,000 行 の デ ー タ を 取 得 し ，同 時 に 認 識 し た 人 数 の 最
小 は 12 人 ， 最 大 は 53 人 で あ っ た ． ま た ， 2 日 目 の 午
前 10 時 か ら 午 後 5 時 ま で の 7 時 間 で は 約 24,000 行 の
デ ー タ を 取 得 し ， 同 時 に 認 識 し た 人 数 の 最 小 は 13 人 ，
最 大 は 52 人 で あ っ た ．
1 日目のデータをヒートマップとして可視化すると
図 5 の よ う に な る ．1 マ ス は 50 セ ン チ ×50 セ ン チ の 方
眼であり，数値は滞在時間の合計を秒単位で表してい
る ．ま た ，3D の 等 高 線 と し て 立 体 的 に 表 現 す る と 図 6
のようになる．また，可視化の自動化についても動作
を確認することができた．
5. お わ り に
本稿では，ユーザ非装着型エンタテイメント空間評
価 手 法 ResBe(Remote entertainment space Behavior ev
aluation)の 研 究 に お い て ， 長 時 間 に わ た っ て 収 集 し た
センサデータを適切に処理し可視化を行った．今後は
データに含まれるノイズを除去の検討を行う予定であ
る．
参
考
文
献
[1] 「 共 生 社 会 に 向 け た 人 間 調 和 型 情 報 技 術 の 構 築 」，
http://www.ambient.jst.go.jp/
[2] 白 井 暁 彦 ，エ ン タ テ イ メ ン ト シ ス テ ム ，芸 術 科 学
会 論 誌 ， Vol. 3， No. 1， pp. 22-34， 2004.
[3] 「 交 通 広 告 ナ ビ 」，http://www.koutsu-navi.com/sear
ch/index.html
[4] 新 井 啓 之 ， 伊 藤 直 己 ， 片 岡 香 織 ， 谷 口 行 信 ，“ 画
像 処 理 に よ る 広 告 効 果 測 定 技 術 ，” NTT 技 術 ジ ャ
ー ナ ル ， Vol.25， No.1， pp.61-64， 2013.
[5] 岩 楯 翔 仁 ，藤 村 航 ，三 角 甫 ，小 坂 崇 之 ，白 井 暁 彦 ，
“奥行き画像センサを用いた展示空間の物理評
価 ”，第 16 回 日 本 バ ー チ ャ ル リ ア リ テ ィ 学 会 大 会
論 文 集 ， 22D-1， 2011.
[6] 佐 藤 充 ， 石 松 俊 文 ， 川 田 翔 士 ， 岩 楯 翔 仁 ， 白 井 暁
彦 ， 大 塚 真 吾 ，“ Hadoop を 用 い た 赤 外 線 測 域 セ ン
サ デ ー タ 処 理 ”， DEIM Forum 2013， P2-2， 2013.
図 ６ ： 等 高 線 （ 3D） と し て 可 視 化
[7] 佐 藤 充 ， 白 井 暁 彦 ， 大 塚 真 吾 ，“ 測 域 セ ン サ デ ー
タ の 可 視 化 ”，HCG シ ン ポ ジ ウ ム 2013，I-1-6，20
13．
[8] 里 雄 二 ， 北 原 格 ， 中 村 裕 一 ， 大 田 友 一 ，“ 複 合 コ
ミュニティ空間における注目の共有～指示動作
に よ る 注 目 の 強 調 提 示 シ ス テ ム ～ ”， 日 本 バ ー チ
ャ ル リ ア リ テ ィ 学 会 第 6 回 大 会 論 文 集 ， pp. 235238， 2001．
[9] 上 岡 玲 子 ， 広 田 光 一 ， 廣 瀬 通 孝 ，“ 体 験 記 録 装 置
と し て の ウ ェ ア ラ ブ ル コ ン ピ ュ ー タ の 研 究 ”， 日
本バーチャルリアリティ学会第 6 回大会論文集，
pp. 149-152， 2001．
[10] 江 田 政 聡 ，中 根 傑 ，横 山 昌 平 ，福 田 直 樹 ，石 川 博 ，
“省エネルギー化を目指したセンサデータマイ
ニ ン グ 手 法 の 検 討 ”， DEIM Forum (2010)．
[11] 江 田 政 聡 ，中 根 傑 ， 横 山 昌 平 ， 福 田 直 樹 ， 峰 野 博
史 ， 石 川 博 ，“ セ ン サ ル ー ム に お け る 赤 外 線 セ ン
サ を 用 い た 人 の 移 動・在 席 状 況 の 推 定 と 利 用 ”，D
EIM Forum (2011)．
[12] 中 根 傑 ，江 田 政 聡 ，横 山 昌 平 ，福 田 直 樹 ，石 川 博 ，
“センサネットワークにおける大規模な可視化
シ ス テ ム の 開 発 ”， DEIM Forum (2010).
[13] 森 武 俊 ：「 セ ン シ ン グ ル ー ム 」 に お け る 行 動 蓄 積
と パ タ ー ン 発 見 ， 情 報 処 理 学 会 研 究 報 告 (2005)．
[14] 船 津 聡 ， 齋 藤 豪 ， 中 嶋 正 之 ， "自 律 的 エ ー ジ ェ ン
トのための確率場に基づく動作クラスを用いた
動 作 生 成 ",電 子 情 報 通 信 学 会 大 会 講 演 論 文 集 ， 20
05,263 特 殊 号 :情 報 ・ シ ス テ ム 2. 2005.
[15] 「 IMADE-PROJECT」,http://www.ii.ist.i.kyoto-u.ac.
jp/IMADE/
[16] 吉 田 浩 ， 宮 原 浩 二 ， 椿 泰 範 ， 米 沢 み ど り ， 高 梨 郁
子 ：「 交 通 向 け デ ジ タ ル サ イ ネ ー ジ シ ス テ ム 」，映
像 情 報 メ デ ィ ア 学 会 年 次 大 会 （ 2011） .
[17] 椿 泰 範 ， 吉 田 浩 ， 宮 原 浩 二 ， 米 沢 み ど り ， 高 梨 郁
子 ：「 交 通 向 け デ ジ タ ル サ イ ネ ー ジ シ ス テ ム -カ メ
ラ 付 端 末 の 複 数 台 連 携 に よ る コ ン テ ン ツ 制 御 -」，
映 像 情 報 メ デ ィ ア 学 会 年 次 大 会 （ 2011） .
結果(ヒートマップ)
１マス : 0.5m×0.5m

[m]
-6.0
-5.5
-5.0
-4.5
-4.0
-3.5
-3.0
-2.5
-2.0
数値 : 滞在時間の合計
-1.5
-1.0
-0.5
0.0
0.5
1.0
1.5
2.0
2.5
3.0
3.5
4.0
4.5
5.0
5.5
6.0
3.0
Out of range
2.5
Our showpiece
1.5
1.0
121
1280
478
Sensor
7.0
1
221
281
799
722
455
1249
1229
885
689
Out of range
2.0
6.5
536
2315
2225
1269
1032
893
810
975
933
784
351
2816
3470
2006
1543
1285
0.5
Other
133
1363
5598
3322
4379
2841
113
1634
3192
2281
2118
1779
1393
1215
954
855
812
0.0
showpiece
s
9
479
9555
4947
6756
8501
11422 17904 23829
232
1384
20034
7918
6483
4174
3815
3553
3166
2675
2213
1892
1624
1476
63
141
1720
2297
2706
3463
4831
7278
9461
13638 17193
6825
5399
3069
2656
2174
1876
1586
1359
1016
984
795
-0.5
381
27641
185
1119
467
1140
1807
2211
2710
4936
10390 41413 23773 20547 11591
5840
4142
3279
2704
2352
2042
1762
1348
1108
982
824
-1.5
1
89
725
1961
859
898
1190
1355
2262
3478
4577
6152
15930
7966
6803
5186
4058
2952
2904
2526
2229
1935
1738
1406
1124
986
817
-2.0
92
240
493
615
703
1020
1485
2188
2704
3458
3722
4133
7955
3997
3491
2993
2709
2488
2134
1795
1671
1703
1490
1225
1025
875
771
-2.5
176
266
404
466
672
898
962
1339
1768
2210
1800
2059
4780
2417
2129
1976
1601
1619
1320
1323
1342
1348
1241
1136
978
821
751
-3.0
245
286
384
450
493
1141
1226
1538
924
1677
1792
1657
4719
2587
1205
1334
1497
1353
1169
1086
1093
1089
962
915
923
706
650
-3.5
199
251
311
393
163
283
458
759
874
545
1764
573
1361
3486
1007
705
621
765
849
934
953
854
830
746
659
621
597
-4.0
469
507
316
65
16
1
69
457
651
130
185
337
502
792
751
786
790
653
639
618
502
516
-4.5
85
41
304
179
1
318
517
472
700
676
699
708
642
546
503
466
425
358
444
492
612
650
634
554
531
487
417
442
388
225
601
513
520
511
533
509
499
450
380
387
350
-1.0
-5.0
-5.5
1
30
12
3
187
238
13
Other showpieces
図５：ヒートマップとして可視化