作品名「ショージニ・メアリー」

作品名「ショージニ・メアリー」
電子情報機器学発表　電子情報工学科 B3 Tellucheese
何をするシステム？
●
スマホをかざすと壁が透けてその先が見えるシステム（これ以降はメアリーと呼ぶ）
空いているとも言える
し混んでいるとも言え
る
微妙な人の多さだなあ
どうやって使うの？by オーナー
1.
2.
3.
4.
5.
6.
メアリーを周囲にものが多くないところに設置
メアリー所有者専用ネットワークを通じてスマホの
webブラウザでメアリーにアクセス（右図）
【重要】 スマホをメアリーにピッタリとくっつけた状態
でしばし待機
気の向くままにメアリーのテスト動作
”Get Omnidirectional Depth”を動かすと、周囲の立
体構造を自動で取得
“Get Omnidirectional Scene”を動かすと、周囲の光
景を自動で取得->いい感じに合成
動作の仕組み
●
●
“Node.js”を用いてwebサーバーをラズパイに建てることで、htmlを用いたクライア
ントからのサーバーマシンへのexec(コマンドを実行すること)要求を行っている
スマホの地磁気コンパスやGPSの出力をNode.jsを通じてラズパイに送っている
○
メアリーのセンサ数を抑えることができる
Node.jsの図解
Node.js
exec
return
value
response
location info
html
どうやって使うの？ by クライアント
1.
2.
オーナーの提供するメアリー用のクラウドwebサー
バーにスマホでアクセス
そのメアリーのある場所へスマホをかざす
全員で実演してみよう
透視体験（仮）用 スマホおすすめ
35.164.188.223/around_view.html
モデルぐりぐり用
35.164.188.223/trans_view.html
動作の仕組み
●
●
●
●
スマホの加速度センサーや方角センサーを利用して直感的な視点の移動を可能に
している
WebGLというブラウザ上で動くCGライブラリを使っており、視点移動に伴うレンダリ
ングはブラウザ側に任せている
インターネットに常に公開する側のwebサーバーを建てるために、クラウドコン
ピューティングサービス（今回はAmazon Web Service）を使用している
メアリーはインターネットにも接続されており、コンテンツを自動でwebサーバーに
送ることができる
メアリー（機構）
超音波測距センサ
サーボ
ABS樹脂削りだし
アルミニウムの板
ルーター
申し訳ばかりのコン
デンサーがくっつい
たコネクタ中継基
板
空間形状を取得する　その１
●
●
●
極座標系を考えます
下の360度回転サーボがΦを担当（0から2π）し、上の180度回転サーボがθを担当
(0からπ未満)しています
測距センサによってrを取得します
○
○
ただし音波は壁に反射などをしてしまうので、壁への音波の入射角が大きくなると rは信用ならなく
なってしまう
また角では極めて強いフェージングが起こり、 rの値はほぼ無意味に
空間形状を取得する　その2
空間形状を取得する　その3
●
●
壁上の点で原点に最も近いものを選別し、そこまでのベクトルをその壁の法線ベク
トルとする
法線ベクトルからは面が一意に定まるので、その面同士の交点を最終的な3Dモデ
ルの頂点とする
頂点検出例
誤り検出例
空間形状を取得する　その4
●
●
●
●
原点に近い点の選別方法
極座標をみかんの皮をむくように平面座標に変換し、深度マップを作成
深度マップに点をばらまいたあと、平均シフト法で深度マップの局所頂点へ移動
近すぎる点は統合したあと、その点が壁に最も近い点とみなす
空間形状を取得する　その5
360度パノラマ写真を作る　その1
●
サーボで角度を決めたあと、webカメラによる撮影
360度パノラマ写真を作る　その2
●
●
ある壁Aに投影するパノラマ写真の合成を考える
撮影した角度に対応する点を単位球にのせて、撮影した写真の頂点を球上にのせ
る
360度パノラマ写真を作る　その3
●
Aの正規化済み法線ベクトルが投影面(壁)に垂直になるように点群を投影
360度パノラマ画像を作る　その4
●
その3の青枠が正方形の頂点に来るように透視投影する
360度パノラマ画像を作る　その5
●
最後にそこに合わせて画像を射影マッピング
端末での描画
three.js
何の役に立つの？　その１
屋内にメアリーを設置した場合
今郵便局混んでるかな？
この時間は営業してるみたい
これから手紙を出しに行こうっと
何の役に立つの？　その２
メアリーを屋外に設置した場合
渋谷109の向こう側っ
て説明しにくいな
ハチ公前はどこ？
ほら
向こうですよ
ありがとう～
反省と今後の展望
●
360度撮影するのにめっちゃ時間がかかる
○
●
●
大体5分くらいかかってしまう
オレオレレンダリングが雑
改良するとしたらカメラを360度カメラに変更したい