ARとKinectを用いた 教育支援ソフトの開発

ARとKinectを用いた
教育支援ソフトの開発
情報理工学部
情報システム工学科
4年
ラシキア研究室
H109055
鈴木翔一朗
H109102
間瀬良輔
目次
●
研究背景
●
研究目的
●
研究内容
●
まとめ・今後
研究背景
小学生高学年の習熟度別の苦手科目、得意科目
苦手科目
得意科目
39.4%
算数
7.3%
28.1%
算数
20.8%
8.2%
33.3%
下位
下位
中位
4.6%
体育
6.7%
中位
3.7%
上位
理科
上位
7.0%
17.0%
12.2%
9.3%
嫌いなし
22.0%
12.5%
体育
19.0%
24.5%
0.0%
10.0%
20.0%
2010年9月
30.0%
16.3%
40.0%
0.0%
5.0%
10.0%
15.0%
学研小学生白書web版より
20.0%
25.0%
30.0%
35.0%
研究背景
●
中学受験を目指す小学生の苦手科目
研究背景
●
●
●
高学年、低習熟の生徒になると算数や国語が
苦手の生徒の割合が増える
・・・なぜか？
低学年のときの苦手な部分を残したまま進級
してしまったため
研究目的
●
●
●
幼児、低学年向けに教育支援ソフトを開発し、
苦手意識をなくす
低習熟の生徒も楽しんでできる
ARとKinectで直感的に楽しく勉強できるソフト
を開発
作業分担
●
●
●
●
AR・画像処理
・・・鈴木
Kinect関連の処理・画像処理
・・・間瀬
機能
●
ARとKinectを用いた計算
●
ARを用いた飛び出す絵本
ARとKinectを用いた計算
●
足し算の問題を画面に出力
●
ARで数式の答えを画面に表示
●
Kinectで手の座標を取得し、手の座標と答えの
座標を合わせて問題を解く
算数ソフト
カメラ画像の取得
人物の骨格情報の取得
MQOファイルの読み込み
流れ
問題の作成 計算
画像に文字の書き込み
表示の準備
Kinectの初期化
取得した骨格座標を
利用しプレイ
画面の表示
ARを用いた飛び出す絵本
●
●
マーカ上に絵本をつくり、その上部に読み込んだ
画像やオブジェクトを表示する
マーカを利用し、いろいろな角度からオブジェク
トを見たり、オブジェクトの説明文を表示し読み
進めていく
絵本
流れ
ファイルの読み込み(mqo,画像、文章)
画面表示処理
画像・座標 操作処理
Kinectを用いた
アクション
表示
座標操作
画像処理
マーカ認識
環境
●
統合開発環境
–
●
●
Visual C++ 2010 Express
画像処理用ライブラリ
–
ARToolKit 2.72.1
–
opencv 2.4.1
–
OpenGL
CG作成ソフトウェア
–
Metasequoia LE R3.0
環境
●
カメラ兼ジェスチャ検出用デバイス
–
●
Kinect用の開発キット
–
●
Kinect for Xbox360
Kinect SDK 1.5
PC
–
Windows7 Home Premium
デモ
まとめ・今後
●
●
●
●
小学生が楽しく分かりやすいと思うUIを
考える
絵本の中身を増やす
–
絵本というより簡単な図鑑のよう
–
なもの
本当に学習支援になるのか、実際に子供
に体験してもらう
二つの機能を統合
ご清聴ありがとうございました