修士論文 三次元特徴点地図を用いた教示走行を必要としない ビュー

NAIST-IS-MT1051114
修士論文
三次元特徴点地図を用いた教示走行を必要としない
ビューシーケンスナビゲーション
森 太一
2012 年 2 月 2 日
奈良先端科学技術大学院大学
情報科学研究科 情報システム学専攻
本論文は奈良先端科学技術大学院大学情報科学研究科に
修士 (工学) 授与の要件として提出した修士論文である。
森 太一
審査委員：
小笠原 司 教授
（主指導教員）
杉本 謙二 教授
（副指導教員）
高松 淳 准教授
（副指導教員）
竹村 憲太郎 助教
（副指導教員）
三次元特徴点地図を用いた教示走行を必要としない
ビューシーケンスナビゲーション∗
森 太一
内容梗概
移動ロボットが自律移動するための手法として，ビューシーケンスナビゲーショ
ンが提案されている．単眼カメラのみを用いて指定した経路を自律移動すること
できるという利点がある．しかし，ナビゲーションを行うためには，少なくとも一
度は環境情報を取得するためにロボットを走行させる必要があり，操作者にとっ
て手間のかかる作業となっている．
そこで本研究では，環境情報を取得のための手間を削減するために，インター
ネット上の情報を利用することを提案する．インターネット上には多くの投稿写
真が存在しており，この画像群から Structure from Motion により三次元特徴点
地図を構築することで環境情報を取得することが可能である，この三次元特徴点
地図に対して指示した走行経路上の見えを用いてビューシーケンスナビゲーショ
ンを実現する．三次元特徴点地図から推定した見えと移動ロボットの見えの比較
には Bag-of-Features に基づくマッチング手法を提案し，自己位置の推定を行う．
屋外におけるナビゲーション実験から提案手法の有効性を示す．
キーワード
移動ロボット, ビューシーケンスナビゲーション, Structure from Motion,
Bag-of-Features
∗
奈良先端科学技術大学院大学 情報科学研究科 情報システム学専攻 修士論文, NAIST-ISMT1051114, 2012 年 2 月 2 日.
i
Teaching-free View-sequence Navigation
using 3D Feature Map∗
Taichi Mori
Abstract
View-Sequence Navigation technique has been proposed for autonomous mobile
robots. This technique achieves autonomous movement under a single camera
system and that is advantageous. However, it requires us demonstration to teach
a robot environmental appearance to move. That is a very pity task for the
operator.
We propose to use pictures on the Internet in order to avoid the demonstration
to build an environmental map. There are a lot of pictures in the web and
the Structure-from-Motion using these pictures enables to generate 3D feature
map. Given robot ’s desired trajectory, the environmental appearance along the
trajectory for view-sequence navigation is simulated using the 3D feature map
. And we propose a method to employ Bag-of-Features for comparing between
current view and generate view for localization. We verify the feasibility of the
proposed method through experiments in outdoor environment.
Keywords:
Mobile Robot, View-sequence Navigation, Structure from Motion,
Bag-of-Features
∗
Master’s Thesis, Department of Information Systems, Graduate School of Information
Science, Nara Institute of Science and Technology, NAIST-IS-MT1051114, February 2, 2012.
ii
目次
1. はじめに
1
1.1
研究背景と目的 . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1
1.2
本論文の構成 . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2
2. 関連研究と本研究のアプローチ
3
2.1
移動ロボットのナビゲーション . . . . . . . . . . . . . . . . . . .
3
2.2
本研究のアプローチ
5
. . . . . . . . . . . . . . . . . . . . . . . . .
3. 三次元特徴点地図を用いた教示走行を必要としないナビゲーション
8
3.1
Structure from Motion を用いた三次元特徴点地図の構築 . . . . .
8
3.2
Bag-of-Features を用いたマッチング手法 . . . . . . . . . . . . . .
12
3.3
三次元特徴点地図を用いたビューシーケンスナビゲーション . . .
16
4. 評価実験
22
4.1
Bag-of-Features を用いたマッチング手法の性能評価 . . . . . . . .
22
4.2
移動ロボット用いたナビゲーション実験 . . . . . . . . . . . . . .
30
4.2.1
三次元特徴点地図の構築と規範画像列の取得 . . . . . . . .
33
4.2.2
Bag-of-Features を用いたマッチング手法の最適化 . . . . .
37
4.2.3
ナビゲーション結果 . . . . . . . . . . . . . . . . . . . . .
39
5. おわりに
43
5.1
まとめ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
43
5.2
今後の展望
44
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
謝辞
45
参考文献
46
iii
図目次
2.1
View-sequence Navigation using the map built by SfM from images
on the internet . . . . . . . . . . . . . . . . . . . . . . . . . . . .
7
3.1
A snapshot of the experimental environment . . . . . . . . . . . .
9
3.2
The 3D features map built by SfM . . . . . . . . . . . . . . . . .
10
3.3
Examples of the input images and generated view in the corresponding camera position . . . . . . . . . . . . . . . . . . . . . . .
3.4
Image is divided into several small slits, and histogram of BoF is
calculated in each small slits . . . . . . . . . . . . . . . . . . . . .
3.5
11
14
Searching for matching region between reference image and current
image, and detection of shift length . . . . . . . . . . . . . . . . .
15
3.6
View-sequence Navigation . . . . . . . . . . . . . . . . . . . . . .
16
3.7
Driving route instruction in the 3D features map . . . . . . . . . .
18
3.8
Positions of generated reference images . . . . . . . . . . . . . . .
18
3.9
Estimated views on the route . . . . . . . . . . . . . . . . . . . .
19
3.10 Variation of dissimilarity during reference images generation . . .
21
3.11 Reference images are automatically generated based on dissimilarity 21
4.1
Reference image used in the comparison . . . . . . . . . . . . . .
4.2
Comparison of matching performance using SIFT for reference image #1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
4.3
4.7
26
Comparison of matching performance using BoF for reference image #2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
4.6
25
Comparison of matching performance using SIFT for reference image #2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
4.5
25
Comparison of matching performance using BoF for reference image #1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
4.4
23
26
The relationship between number of feature points of reference
image and computation time . . . . . . . . . . . . . . . . . . . . .
28
Developed mobile robot for view-sequence navigation . . . . . . .
31
iv
4.8
Navigation Route . . . . . . . . . . . . . . . . . . . . . . . . . . .
4.9
Positions of generated reference images on the navigation route
32
including curve . . . . . . . . . . . . . . . . . . . . . . . . . . . .
34
4.10 Generated view on the route . . . . . . . . . . . . . . . . . . . . .
35
4.11 Variation of dissimilarity while reference images are generated on
the navigation route including curve . . . . . . . . . . . . . . . . .
36
4.12 Reference images are automatically generated on the navigation
route including curve . . . . . . . . . . . . . . . . . . . . . . . . .
36
4.13 Failure rate of matching in various clustering condition . . . . . .
38
4.14 Variation of dissimilarity between input images and reference images 41
4.15 Result of estimated position based on reference image index . . .
41
4.16 View of mobile robot during autonomous locomotion . . . . . . .
42
表目次
4.1
Comparison of computation time for reference image #1 . . . . .
27
4.2
Comparison of computation time for reference image #2 . . . . .
27
4.3
Specification of mobile robot system . . . . . . . . . . . . . . . . .
31
v
1. はじめに
1.1 研究背景と目的
近年，移動ロボットに関する研究の発展に伴い，人に代わりオフィスなどを警
備する警備ロボット [1] や，病院やイベントの案内を行う案内ロボット [2] など，
実際の環境中を自律移動しながら人に代わりサービスを提供するロボットシステ
ムが注目されている．このようなサービスを提供する移動ロボットに我々が指定
した任意の環境を自律移動させるためには，以下の機能が必要となる．
• 移動ロボットの走行環境の情報を取得する地図生成機能
• 移動ロボットの現在位置を把握する自己位置推定機能
• 操作者に指定された経路上を走行するナビゲーション機能
近年では，地図生成機能と操作者による経路指定を同時に行う手法も提案され
ている．代表的な研究としては，カメラを用いて走行経路上の見えをもとに画像
マッチングを行うことにより，ナビゲーションを実現するビューシーケンスナビ
ゲーション [3] などが提案されている．また，測域センサのデータシーケンスを
用いたナビゲーションも行われている [4]．地図の生成と経路の指示を同時に行う
ことが可能な手法であるため，比較的容易にナビゲーションを実現することがで
きる．これらの研究分野では，移動ロボットの移動可能範囲の拡大・照明条件の
変化や環境中の物体の移動などの環境変化への対応を目指し，盛んに研究 [5][6]
が行われている．
しかしながら，ビューシーケンスやデータシーケンスを用いるナビゲーション
手法は，自律移動を行う前に走行経路周辺の画像情報や距離データなどの環境情
報を事前に取得する教示走行を行うことを前提としている．この教示走行は，操
作者が移動ロボットを半自動的に走行させることにより行っている．そのため，
この作業自体が操作者にとって非常に手間な作業であることや大規模な環境情報
を取得するのに膨大な作業時間を要するといった問題が存在する．
そこで本研究は，操作者の手を介さずに環境情報を取得して移動ロボットのナ
ビゲーションを行うために，インターネット上の情報を用いて環境情報を構築す
1
る手法を提案する．インターネット上に存在する情報を用いて環境情報を構築す
ることで，操作者が移動ロボットに対し走行経路を指定するだけで移動ロボット
のナビゲーションを可能にするシステムの構築を目指す．
1.2 本論文の構成
2 章では，関連研究として移動ロボットのナビゲーション手法と対比すること
で本研究の位置づけを示し，本研究のアプローチについて述べる．3 章では，イ
ンターネット上の情報を用いて環境情報を取得する方法について説明し，取得し
た情報をもとにナビゲーションを行う手法について述べる．4 章では，実際の環
境において環境情報を構築し，その情報をもとに移動ロボットのナビゲーション
実験を行い，提案手法の有用性を確認する．5 章では，本研究の成果についてま
とめるとともに，今後の課題および展望について述べる．
2
2. 関連研究と本研究のアプローチ
2.1 移動ロボットのナビゲーション
屋外環境の移動ロボットナビゲーションに関しては Global Positioning System
(GPS) を用いて自己位置推定を行い，緯度経度で走行経路を指示する手法 [7] が広
く用いられている．GPS は上空に存在する複数の衛星からの信号を受信し，現在
位置を取得することにより，受信機を接続するだけで広範囲にわたって自己位置の
計測を行うことができる．移動ロボットに限らず，Intelligent Transport Systems
(ITS) 分野での自動車の自動運転 [8] や，農業耕作機への応用 [9] など幅広い分野
で GPS が利用されている．しかしながら，大きな建物や樹木が密集し周囲を遮ら
れたような状況では GPS の電波を受信しにくいため，安定した測位精度が得ら
れないという問題があり，GPS 単体でナビゲーションを行うことは困難である．
そのため，オドメトリやジャイロの情報を統合し自己位置推定の精度を向上させ
る研究 [10] や，測域センサや画像情報を用いたナビゲーションの補助として GPS
を用いる研究 [11] が多くなってきている．
カメラを主体として用いたナビゲーションでは，あらかじめ走行経路を操作者
が手動で教示し，その際に取得した画像情報をもとに自己位置推定を行う手法が
多く提案されている．事前に取得した走行経路上の見えとのマッチングを行うこ
とでナビゲーションを実現することから，ビューシーケンスナビゲーション [3]
と呼ばれている．しかしながら，この手法は事前に取得した画像とのマッチング
を行うことでナビゲーションを実現しているため，走行経路上の照明変化に弱い
などの問題が存在する．桂ら [12] はこの問題に対し，画像を直接比較するのでな
く，空・木・建物・人工物といった画像特徴を Support Vector Machine (SVM)
により学習させ，それぞれを判別することにより季節や天候の変化に頑健なナビ
ゲーション手法を提案している．また，山城ら [6] は累積ブロックマッチング法
を用いて，萩原ら [13] は Speeded Up Robust Feature (SURF) 特徴量を用いて画
像マッチングを行うことで照明条件の変化に対応したナビゲーション手法を提案
している．
Simultaneous Localization And Mapping (SLAM) の発展により測域センサを
3
用いた自己位置推定手法も多数提案されている [14][15]．測域センサを用いたナ
ビゲーションはメトリックなアプローチであるため，移動ロボットの位置を正確
に推定しやすいという利点がある．しかしながら，SLAM では走行経路の指定に
関する問題について取り扱われておらず，自己位置の推定や地図の生成に関する
問題に注力されている．また，測域センサを用いてナビゲーションを実現するた
めには，位置精度の高い地図を用意する必要がある．それに対し，画像情報を用
いたビューベストナビゲーションでは，走行経路上の見えを規範画像列として移
動ロボットに与えるだけで良いため，容易にナビゲーションを実現できる利点が
ある．
しかしながら，これらの従来手法には，事前に環境情報の取得を行っていない
環境中では移動ロボットを走行させることができず，教示走行時に取得した情報
を他の経路に再利用することができないなどの問題が存在する．そのため，移動
ロボットに新しい経路を走行させるためには，操作者が手動で走行経路を移動ロ
ボットに再度教示させる必要があり非効率である．この教示走行にかかる負担を
軽減するために，以前に行った教示走行の情報を用いて別の経路上の見えを予測
することで環境情報を再利用する研究 [16] も行われている．しかし，少なくとも
一度は教示走行が必要であるため，操作者が移動ロボットを操作し半自動的に環
境情報の取得を行う必要がある．そのため従来手法では，ナビゲーションに必要
となる環境情報を人の手を介して取得する必要があり，移動ロボットに長距離を
移動させることを考えると現実的ではないといえる．
これらの問題に対し，松村ら [17]，森ら [18] は航空写真や一般的な地図などの
情報を用いることで教示走行を行わずに自己位置推定を行う手法を提案している．
松村らの手法では，同じ地点の航空写真や地図を入力とし，それらの情報から建
物・植物・道路などの領域の分布を推定することにより，走行環境の情報を取得
している．移動ロボットは測域センサによる三次元計測を行うことで周辺の三次
元地図を取得し，この地図中の建物・植物・道路の領域を推定することで周囲の
領域分布を推定する．そして，移動ロボットが推定した領域分布と航空写真から
推定した環境情報とのマッチングを行うことで自己位置を推定している．航空写
真や一般的な地図を用いることで，教示走行を必要とせずに自己位置推定を行う
4
ことを可能にしているが，測域センサを用いた三次元計測は計測に時間がかかる
という問題が存在する．また，航空写真や地図は平面的な情報であるため建物な
どの大きさを特定できず，建物同士の隠れなどを正確に推定することが困難であ
るといえる．森らの手法では，航空写真と電子地図を用いて建物の領域とそれ以
外の領域を推定し，エッジベースのグリッドマップを作成する手法を提案してい
る．作成したマップと移動ロボットに搭載した測域センサの計測値とのマッチン
グを行うことにより自己位置推定を実現しているが，樹木や車などが測域センサ
の計測の障害となることが考えられる．
2.2 本研究のアプローチ
教示走行を行わずに移動ロボットのナビゲーションを実現するためには，松村
ら [17] や森ら [18] が提案するように航空写真や地図などの既存の情報を活用する
必要がある．しかしながら，2.1 節で述べたように，航空写真などの平面的な情報
をもとに推定した環境情報を用いて自己位置推定を行う手法には限界が存在する．
そこで本研究では，昨今のインターネットの普及に注目し，インターネット上
に投稿されている画像を用いて環境情報を推定する手法を提案する．インター
ネット上に投稿された画像を用いることにより，建物などの大きさや位置関係を
細部まで正確に推定することが可能になり，航空写真などからは推定できない屋
内の環境情報の構築も可能になると思われる．また，インターネット上に投稿さ
れる画像は今後さらに増加していくといえ，これらの情報から構築した環境情報
の精度や規模はさらに向上していくと考えられる．Sameer ら [19] は，Flickr に投
稿されているローマの街を撮影した複数の画像をもとに，Structure from Motion
(SfM) を用いて三次元特徴点地図を構築する手法を提案している．この手法を用
いることで，撮影位置が異なる複数の投稿写真からそのシーンの三次元形状と撮
影したカメラ位置を同時に推定することが可能になる．
しかしながら，SfM により構築した三次元特徴点地図は様々な地点で撮影され
た投稿写真から構築されているため，ナビゲーションを行う経路上の地点と地図
の構築に使用したカメラの撮影地点が大きく異なる場合が存在する．これは，地
図構築に用いられた画像に対してアフィン変換や射影変換がかけらた状態である
5
ため，単純な特徴量マッチングを行いにくい条件であるといえる．
そこで本研究では，SfM により構築した三次元特徴点地図を用いたナビゲー
ションを実現するために，Bag-of-Features (BoF) を用いることを提案する．BoF
は昨今，画像検索・一般物体認識の分野でその有効性が示されている手法であり，
環境が変化する状況下における画像マッチング [20] や SLAM のループクロージン
グ [5] などにも用いられている．BoF を用いることで一般物体認識として画像を
比較でき，SfM により構築した三次元特徴点地図を用いてナビゲーションする際
に撮影条件の差を吸収することが可能になると考えられる．三次元特徴点地図に
対して指定した走行経路上の見えを規範画像列として推定し，BoF を用いたマッ
チングにより移動ロボットの見えとのマッチングを行うことで教示走行を必要と
しないビューシーケンスナビゲーションを実現する．
Fig. 2.1 に本研究で提案するナビゲーション手法の概要を示す．このナビゲー
ション手法では，インターネット上に投稿されている画像を用いて SfM により三
次元特徴点地図を構築したのちに，地図に対して走行経路を指示し経路上の特徴
点の見えを推定することで規範画像列を取得する．そして，取得した規範画像列
と移動ロボットの見えを BoF を用いてマッチングを行うことにより，人の手を介
した教示走行を必要としない移動ロボットナビゲーションを実現する．ただし，
本研究ではインターネット上の投稿写真の代わりとして一般的なコンパクトカメ
ラを用いて撮影した画像を用いて，提案手法の評価を行っている．
6
Fig. 2.1 View-sequence Navigation using the map built by SfM from images on
the internet
7
3. 三次元特徴点地図を用いた教示走行を必要としない
ナビゲーション
本章では，任意の画像群から三次元特徴点地図を構築する SfM の説明を行い，
構築した三次元特徴点地図をビューシーケンスナビゲーションに用いる方法につ
いて述べる．また，BoF を用いたマッチングによるビューシーケンスナビゲーショ
ンについて説明し，三次元特徴点地図を用いた教示走行を必要としないナビゲー
ションを実現する方法について述べる．
3.1 Structure from Motion を用いた三次元特徴点地図の構築
本研究では，Sameer ら [19] が提案する SfM を用いて三次元特徴点地図の構築
を行う．Sameer らは，カメラパラメータなどの撮影条件に影響されずに特徴点の
三次元位置やカメラ位置を推定することが可能な手法を提案している．これによ
り，インターネット上に投稿された不特定の画像を用いて三次元特徴点地図を構
築することを可能にしている．Sameer らの実験では Flickr 上に投稿されている
58,000 枚の画像を使用することで，ひとつの街の三次元特徴点地図を構築するこ
とに成功している．この手法を用いてインターネット上に投稿されている画像か
ら環境情報を構築することにより，移動ロボットの教示走行を行わずに環境情報
の取得が可能となる．ただし，現時点では本研究で想定している実験環境の周辺
を撮影した画像でインターネット上に投稿されている枚数は少数であるため，こ
ちらで用意したものを使用した．これらのインターネット上に存在する情報は，
今後さらに増加していくものと考えられ，現時点で情報が少ない場所における情
報についても今後それらの情報は増加し，インターネット上の情報を用いて三次
元特徴点地図を構築することが可能になると予測される．そのため，現時点で情
報が少ない地点において，こちらで用意した画像を用いることは問題にならない
と考えている．
複数の画像から SfM を用いて三次元特徴点地図を推定する予備実験を行う．こ
の予備実験では，Fig. 3.1 に示す奈良先端科学技術大学院大学の情報科学研究科
棟の周辺で 206 枚の画像を撮影し，三次元特徴点地図を構築する．この実験で使
8
Fig. 3.1 A snapshot of the experimental environment
用した画像は，インターネット上に投稿される画像を想定し，一般的なコンパク
トカメラである Sony 社の DSC-HX5 を使用して撮影した．構築した三次元特徴
点地図と推定されたカメラ位置を Fig. 3.2 に示す．Fig. 3.2 から，SfM を用いるこ
とにより，複数の画像を用いて任意の環境の三次元特徴点地図を構築することが
可能であることを確認できる．図中の矢印で示されているカメラは，Fig. 3.1 が撮
影されたカメラ位置として推定されたものを表している．Fig. 3.3 に入力した画
像の一例とその画像の撮影地点として推定された地点からの三次元特徴点地図の
見えを示す．三次元特徴点地図に対してカメラの外部パラメータと内部パラメー
タを指定することにより，任意の地点からの見えを推定することが可能であるこ
とが確認できる．
9
Fig. 3.2 The 3D features map built by SfM
10
Fig. 3.3 Examples of the input images and generated view in the corresponding
camera position
11
3.2 Bag-of-Features を用いたマッチング手法
三次元特徴点地図を用いたビューシーケンスナビゲーションを実現するために，
三次元特徴点地図から推定した見えと移動ロボットの見えをマッチングする手法
について説明する．SfM により構築した三次元特徴点地図は，撮影地点の異なる
画像を用いて計算されている．そのため，三次元特徴点地図に対して指示した走
行経路上の見えに含まれている特徴点の特徴量が，実環境で抽出した同じ位置の
特徴点の特徴量と異なっている．そのため，推定した見えの中に非常によく似た
特徴量を持つ特徴点が，実環境中の位置と異なる位置に複数存在する可能性が発
生する．また逆に，様々な角度から撮影された画像を用いているので，実環境中
では同じ地点の特徴点であっても異なる特徴量を含んでいる場合も考えられる．
これらのことから，三次元特徴点地図中から推定した見えと移動ロボットの見え
に含まれる特徴点のユークリッド距離を計算してマッチングを行う特徴量マッチ
ングでは，安定したナビゲーション性能を実現することは困難であるといえる．
また，三次元特徴点地図という多くの特徴点を持つ情報に対してユークリッド距
離を用いたマッチング手法を用いることは，計算コストや処理時間の観点から移
動ロボットナビゲーションに用いることは望ましくないといえる．
そこで本研究では，三次元特徴点地図から推定した見えと移動ロボットの見え
とのマッチングに BoF を用いる．この手法は，学習用画像データの各画像から抽
出した多数の特徴量をベクトル量子化を行い代表的な局所パターンを抽出し，そ
れらに関するヒストグラムを作成することで画像を評価する．特徴点の位置や詳
細な特徴量などの情報を捨てることにより，画像を簡潔に表現することが可能に
なり，撮影条件の違いを吸収した上で処理の高速化を可能にしている．そのため，
三次元特徴点地図を用いてナビゲーションする際に撮影条件の差を吸収すること
が可能であると考えられる．また，BoF は画像検索や一般物体認識の分野で注目
されている手法であり，この手法を用いることで移動ロボットの見えをもとに規
範画像を検索すことが可能となる．移動ボットの初期位置探索やナビゲーション
が破綻した際の自己位置の再取得を効率的に行うことが可能となる．
BoF における代表的な局所パターンを求める際に必要となる学習用データには，
SfM により構築された三次元特徴点地図中に存在する特徴点の Scale Invariant
12
Feature Transform (SIFT) 特徴量を用いる．これにより，SfM に使用した画像
データだけでナビゲーションに必要な環境情報を揃えることが可能となり，教示
走行を必要としないビューシーケンスナビゲーションを実現することができる．
また，地図に含まれる特徴点の特徴量を使用してベクトル量子化を行うことで，
この地図中に出現しやすい特徴を用いて BoF を構築するため，安定したナビゲー
ションが実現できると考えられる．代表的な局所パターンの抽出には，クラスタ
リング手法である k-means 法 [21] を用いる．k-means 法は，入力された複数の特
徴点に対して初回はランダムにクラスタを割り当て，それらのクラスタの重心位
置を求める．そして，重心との位置関係に基づき特徴点のクラスタを再度割り当
て，変化がなくなるまでこれを繰り返すことで，代表的な局所パターンを抽出し
ている．本研究では，局所パターン抽出時およびロボットの見えにおける BoF の
ヒストグラムを計算する際の計算コストを削減するために，ツリー上にクラスタ
リングを行う David ら [22] の手法を用いている．
一般的な画像検索や一般物体認識は，画像全体の BoF のヒストグラムを求め，
規範画像とのヒストグラムの相違度を比較することにより行われる．しかしなが
ら，ビューシーケンスナビゲーションでは経路を指示する規範画像に対する移動
ロボットの見えのずれを用いて移動ロボットのステアリングを操作することでナ
ビゲーションを実現する．そのため，規範画像と移動ロボットの見えをマッチン
グしただけでは，ナビゲーションを実現することが困難である．
この問題に対して本研究では，移動ロボットはある平面上を移動すると仮定
し，Fig. 3.4 に示すように画像の水平方向を NA 個（Fig. 3.4 は NA = 8 の例を示
す）の小領域に分割し，その領域内における BoF のヒストグラムを用いて画像
照合を行う手法を提案する．それぞれの小領域内に存在する特徴点を用いて，小
領域ごとに BoF のヒストグラムを構築する．このとき Eq. (3.1) に基づいてヒス
トグラムの正規化を行ことにより，小領域中に存在する特徴点の総数に影響され
ずにヒストグラムの相違度を計算することが可能となる．ここでは，BoF のクラ
スタの総数を NC 個（Fig. 3.4 は NC = 3 の例を示す）とし，正規化を行う前の
ヒストグラムを h = (h1 , h2 , . . . , hNC )，正規化を行ったあとのヒストグラムを
13
Fig. 3.4 Image is divided into several small slits, and histogram of BoF is calculated in each small slits
H = (H1 , H2 , . . . , HNC ) で表される NC 次元のベクトルとする．
H =
h
NC
!
n=1
(3.1)
|hn |
規範画像における i 番目の小領域のヒストグラム Hr i とロボットの見えにお
ける j 番目の小領域のヒストグラム H j の相違度は，Eq. (3.2) で表され，E (i, j)
が最小となる領域同士が最も類似しているといえる．ここで，|| Hr i − H j ||1 は，
Hr i − H j の L1 ノルムを計算することを表す．Eq. (3.2) を用いてヒストグラム間
の相違度を求めることにより，BoF を用いたマッチングを行うことが可能になる．
E (i, j) = || Hr i − H j ||1
(3.2)
次に，ナビゲーションを行うために必要な規範画像に対する移動ロボットの見
えのずれを検出する手法を説明する．提案するマッチング手法では，NS 個の小
領域が含まれる照合領域 (Fig. 3.5 は NS = 4 の例を示す) を走査し，照合領域の
相違度 Emin が最小となる箇所を探索することで規範画像と移動ロボットの見え
とのマッチングを行う．本研究では，NS = NA /2 として実験を行っている．この
とき，規範画像における照合領域の位置 xr と現在の見えにおける照合領域の位
置 x をもとに，規範画像とのずれ xr − x を計算することで移動ロボットのステア
14
Fig. 3.5 Searching for matching region between reference image and current
image, and detection of shift length
リングを操作することでナビゲーションを実現する．照合領域の相違度 Emin は
Eq. (3.3) に示すように，照合領域内の小領域のうち位置関係が対応する小領域の
ヒストグラムの相違度 E(i, j) を計算し，それらの相違度の和で表される．
Emin = min
"N
S
!
E (xr + n, x + n)
n=1
#
(3.3)
xr , x ∈ {0, 1, · · · , NA − NS }
また，ビューシーケンスナビゲーションにおいて経路を指示しているすべての
規範画像と現在の見えに対してこの提案手法を適用し，相違度が最小になる規範
画像の探索を行う．これにより，移動ロボットの見えに最もよく似た規範画像を
参照すると同時に，その規範画像に対する移動ロボットの見えのずれを特定する
ことが可能になる．
15
3.3 三次元特徴点地図を用いたビューシーケンスナビゲーション
ビューシーケンスナビゲーションは Fig. 3.6 に示すように，移動ロボットに走
行経路を指示する教示走行と自律移動の 2 つで構成される．教示走行では，人の
手を介して移動ロボットを半自動的に移動させ，経路上の見えを規範画像として
適当な間隔で逐次的に取得することで，走行経路の指定を行う．規範画像の取得
は，規範画像として最後に取得した見えと現在の見えとの相関値がある一定の閾
値以上であれば現在の見えを規範画像として追加し，これを繰り返すことで走行
経路を指定する規範画像列を取得している．自律移動では，教示走行により取得
された規範画像列の 1 番始めの見えと 2 番目の見えを参照し，ロボットの見えと 2
枚の見えを比較してどちらに近いかを判定する．このとき，ロボットの見えとの
相関値が 2 番目の見えの方が高いという結果が得られた場合，見えを 1 つ進ませ
2 番目と 3 番目との比較を行う．これを繰り返すことにより，スタートからゴー
ルまでの経路を走行することが可能となる．
Fig. 3.6 View-sequence Navigation
16
従来のビューベストナビゲーションでは，自律移動を行う以前に教示走行を行
う必要がある．教示走行は新規経路を追加するたびに毎回行う必要があるため非
効率的であり，この作業は人の手を使って行うため人にとって非常に手間な作業
であるといえる．
そこで，本研究では 3.1 節で構築した環境情報を用いて規範画像列を取得する
ことにより，教示走行の簡略化を図る．SfM により構築する三次元特徴点地図は，
インターネット上の投稿写真を用いて構築することが可能であるため，構築した
三次元特徴点地図に対して走行経路を指示するだけで規範画像列を生成すること
ができる．また，この三次元特徴点地図に対して新しい経路を指定することで新
しい規範画像列を取得することができ，構築した地図を再利用することができる．
この提案手法を用いることで，操作者は三次元特徴点地図に対して走行経路を指
示するだけで，ナビゲーションを行うことが可能となる．
移動ロボットに対する走行経路の指示は，SfM により構築した三次元特徴点地
図に対してスタートとゴールそして経由地点を指定することで行うことが可能で
ある．三次元特徴点地図に対して，Fig. 3.7 における赤線で示される経路を走行
経路として指定した場合，Fig. 3.8 に示す位置に Fig. 3.9 のような規範画像列を得
ることができる．この規範画像列の生成では，3.2 節で提案したマッチング手法
を用いて隣り合う規範画像間の相違度を計算することにより，見えの変化が大き
い箇所と小さい箇所において規範画像の生成頻度を変化させることを可能にして
いる．これにより，隣り合う見えに類似した規範画像が生成されるのを防ぎ，適
当な間隔で規範画像列を生成できる．具体的には，指定した走行経路上を仮想的
に移動することでその地点からの三次元特徴点地図の見えを推定し，生成した規
範画像のうち最も新しいものとこの見えとの相違度を計算する．ここで計算した
相違度が閾値を超えていれば，その見えを新しい規範画像として規範画像列に追
加するということを指定された経路上のスタートからゴールにたどり着くまで繰
り返す．
17
Fig. 3.7 Driving route instruction in the 3D features map
Fig. 3.8 Positions of generated reference images
18
Fig. 3.9 Estimated views on the route
19
Fig. 3.9 の規範画像列を作成した際の相違度の推移を Fig. 3.10 に，規範画像の
生成の推移を Fig. 3.11 示す．ここでは，最も新しく生成された規範画像と現在の
見えとの相違度が閾値 8 以上になった場合に，新しい規範画像として現在の見え
を保存している．指定した走行経路は，建物に対して離れた位置からその建物へ
近づいていく経路を指定している．隣り合う規範画像間の相違度を一定に保ち適
当な間隔で規範画像列を生成すると，建物から離れた場所では見えの変化が少な
いため，建物から離れたスタート地点周辺では建物に近いゴール地点周辺に比べ
規範画像を生成する間隔が長くなるといえる．この傾向は，Fig. 3.10 と Fig. 3.11
に示すように，スタートからゴールへ向かうに従って規範画像が生成される頻度
が早くなってきていることから確認することができる．このことから，提案する
マッチング手法を用いて，ナビゲーションに用いる規範画像列を適当な間隔で生
成することが可能なことを確認した．
20
Fig. 3.10 Variation of dissimilarity during reference images generation
Fig. 3.11 Reference images are automatically generated based on dissimilarity
21
4. 評価実験
この章では，まず SfM により構築した三次元特徴点地図から生成した規範画
像列とロボットの見えとのマッチング性能の評価を行う．提案する BoF を用いた
マッチング手法と従来手法である特徴量間のユークリッド距離計算を用いた特徴
量マッチング手法を比較することでその性能を評価する．次に，複数の画像を用
いて三次元特徴点地図を SfM により構築し，指定した経路のナビゲーション実験
を実機を用いて行い，提案手法全体の評価を行う．
4.1 Bag-of-Features を用いたマッチング手法の性能評価
BoF を用いたマッチング手法の性能を，従来の特徴点間のユークリッド距離計
算による特徴点マッチング手法と比較し，その性能を評価する．ここでは，評価
対象として萩原ら [13] が提案している SURF を用いたビューベストナビゲーショ
ンで使用している特徴量間のユークリッド距離計算を用いた特徴量マッチングと
の比較を行う．萩原らは，SURF 特徴量を用いて規範画像と移動ロボットの見え
との特徴量マッチングを行い，マッチした特徴点の水平方向の座標の差を教示画
像に対する横位置のずれと定義し，その差を用いて移動ロボットの操舵を行って
いる．本研究で用いる三次元特徴点地図は SIFT 特徴量を使用しているため，萩
原らの手法で用いている SURF 特徴量を SIFT 特徴量に置き換えて，性能の比較
を行う．また，SIFT 特徴量のマッチングは，kd-tree を用いて計算速度の高速化
を行っている．
まず，規範画像に対する移動ロボットの見えのマッチング結果を比較し，三次
元特徴点地図から推定した規範画像に対する移動ロボットの見えのずれを検出す
ることが可能なのかを確認する．次に，それぞれの手法がマッチングに要する計
算時間を測定し，移動ロボットのナビゲーションに用いるのに適しているのかを
確認する．Fig. 4.1 に示す 2 枚の規範画像を使用し，それぞれの規範画像に移動ロ
ボットの見えを対して左右にずらした場合・規範画像と同じ方向を向いた場合の
合計 6 パターンについて比較を行う．
Fig. 4.2 と Fig. 4.3 に Fig. 4.1(a) の規範画像 1 に対する移動ロボットの見えのマッ
22
(a) Reference image #1
(b) View from same location of reference image #1
(c) Reference image #2
(d) View from same location of reference image #2
Fig. 4.1 Reference image used in the comparison
23
チング結果を示し，SIFT 用いた手法と BoF を用いた提案手法の比較を行う．ま
た，Fig. 4.4 と Fig. 4.5 に Fig. 4.1(c) の規範画像 2 に対するマッチング結果を示す．
それぞれの図は，規範画像に対して移動ロボットの見えが左にずれた場合・同じ
方向を向いている場合・右にずれた場合を示している．また，それぞれの図中にお
いて，上側の図が規範画像を表し，下側の図が移動ロボットの見えを表す．SIFT
特徴量を用いたマッチング手法の結果において，移動ロボットの見えの中に検出
された特徴点は青色の点で表され，マッチした特徴点同士の関係は赤線で表され
ている．BoF を用いたマッチング手法の結果において，画像中の青線は白枠で表
される小領域内に存在する BoF のヒストグラムを表し，提案手法によりマッチン
グした照合領域は赤枠で表されている．
次に，各手法におけるマッチングに要する計算時間を比較する．比較する 2 つ
の手法では同じ特徴量を用いているため，特徴量を抽出する計算時間は含まずに
マッチングに要する計算時間だけの比較を行う．Table 4.1 に規範画像 1 に対して
移動ロボットの見えのマッチングを行った結果を，Table 4.2 に規範画像 2 に対し
てマッチングを行った結果を示す．表には，規範画像とロボットの見えにおける
特徴点の数とそれぞれの手法がマッチングに要した時間を示している．また，規
範画像 1 や規範画像 2 以外にも規範画像を用意し，規範画像に含まれる特徴点数
とマッチングに要した時間の関係を調査した結果を Fig. 4.6 に示す．
24
(a) Left shift
(b) No shift
(c) Right shift
Fig. 4.2 Comparison of matching performance using SIFT for reference image
#1
(a) Left shift
(b) No shift
(c) Right shift
Fig. 4.3 Comparison of matching performance using BoF for reference image #1
25
(a) Left shift
(b) No shift
(c) Right shift
Fig. 4.4 Comparison of matching performance using SIFT for reference image
#2
(a) Left shift
(b) No shift
(c) Right shift
Fig. 4.5 Comparison of matching performance using BoF for reference image #2
26
Table. 4.1 Comparison of computation time for reference image #1
Number of features Computation time [s]
Reference
Left shift
No shift
7718
Right shift
Average
7718
Robot
SIFT
BoF
5054
0.391
0.157
4546
0.087
0.144
3568
0.357
0.116
4389
0.278
0.139
Table. 4.2 Comparison of computation time for reference image #2
Number of features Computation time [s]
Reference
Left shift
No shift
1846
Right shift
Average
1846
Robot
SIFT
BoF
3473
0.086
0.126
4084
0.177
0.128
4167
0.253
0.142
3908
0.172
0.132
27
Fig. 4.6 The relationship between number of feature points of reference image
and computation time
28
これらの表やグラフからわかるように，SIFT 特徴量を用いた特徴量マッチン
グでは，画像中の特徴点数が増加するのに伴い計算時間も増加していることが確
認できる．特徴量マッチングは特徴点のマッチングを行う際に最もユークリッド
距離が短くなる対応関係を探索する必要があるため，特徴点数が増加すると対応
点探索に時間を取られてしまうことが原因であると考えられる．それに対し，提
案する BoF を用いたマッチング手法では，特徴点の数に影響されずほぼ一定時間
でマッチングを行うことができている．これは，BoF により構築したヒストグラ
ムを用いて相違度計算によりマッチングを行っているため，特徴点の対応点探索
を必要とせずにマッチングすることが可能であるからだといえる．移動ロボット
において計算処理の遅延は，操作性や制御性を悪化させ，正常にナビゲーション
を行うことが困難な状態にする原因であり，安定したナビゲーションには遅延の
起こりにくいマッチング手法が必要となる．
Fig. 4.2 と Fig. 4.4 に示す SIFT 特徴量を用いたマッチングには，多くの外れ値
が存在していることが確認できる．これは，三次元特徴点地図中の特徴点が，移
動ロボットの見えの位置と異なる撮影地点で撮影された画像中の特徴点をもとに
構築されていることが影響して発生していると考えられる．外れ値を除去するこ
とで精度の高いマッチングが可能になると考えれるが，マッチングに要する計算
時間の増大を伴うため，移動ロボットのナビゲーションに用いることは現実的で
はないといえる．これらのことから，走行経路上の規範画像に含まれる特徴点の
数に影響されずにマッチングを行うことができる提案手法は，従来手法に比べ優
位性があるといえる．
29
4.2 移動ロボット用いたナビゲーション実験
本実験では，まずインターネット上の投稿写真の代わりとして一般的なコンパ
クトカメラにより撮影した画像を用いて走行経路周辺の環境情報である三次元特
徴点地図を構築する．次に，構築した三次元特徴点地図に対して移動ロボットが自
律移動を行う走行経路を指定し，規範画像列を生成する．そして，提案する BoF
を用いたマッチング手法で使用する BoF の最適なクラスタ数の検討を行い，提案
手法を用いた教示走行を必要としないビューシーケンスナビゲーションの評価を
行う．
本実験で用いる移動ロボットを構成している各ハードウェアを Table 4.3 に示
し，移動ロボットの外観を Fig. 4.7 に示す．移動ロボットの移動機構には，屋内や
屋外で使用することが可能な今仙技術研究所社の電動車椅子 EMC-230 の車体部
分を用いている．この移動ロボットの制御には，マイコンチップ H8 と USB イン
タフェースを搭載したマイコンボードであるテクノウェーブ社の USB I/O ボー
ド USBM3069F を用いる．このボードの Pulse Width Modulation (PWM) 出力・
デジタル入出力・パルスカウンタを用いることで，移動ロボットの PD 制御とオ
ドメトリの計算を行う．また，提案手法によるビューシーケンスナビゲーション
を行うために，ロボットの前方を撮影する Sony 社のカメラ DFW-VL500 を搭載
している．移動ロボットを用いた走行実験は，Fig. 4.8 に示すように奈良先端科学
技術大学院大学の構内において，バイオサイエンス研究科から情報科学研究科へ
の約 100[m] の経路を走行させる．この経路周辺の画像をコンパクトカメラ Sony
社の DSC-HX5 により撮影して三次元特徴点地図を構築し，この地図から規範画
像列を生成しナビゲーションを行った．
30
Table. 4.3 Specification of mobile robot system
Part name
Manufacturing company
Model number
Migratory mechanism IMASEN Engineering Corporation
EMC-230
Interface (USB I/O)
Technowave Ltd.
USBM3069F
Camera (IEEE1394)
Sony Corporation
DFW-VL500
Fig. 4.7 Developed mobile robot for view-sequence navigation
31
Fig. 4.8 Navigation Route
32
4.2.1 三次元特徴点地図の構築と規範画像列の取得
奈良先端科学技術大学院大学の構内に指定した走行経路の周辺が撮影された画
像を用いて，SfM を用いて三次元特徴点地図の構築を行う．奈良先端科学技術大
学院大学におけるミレニアムホール・食堂・情報科学研究科・バイオサイエンス
研究科などが撮影されている 391 枚の画像を用いて三次元特徴点地図を構築した．
構築した三次元特徴点地図を用いて，3.3 節と同様に規範画像間の相違度をもと
に規範画像の生成を行う．構築した三次元特徴点地図を Fig. 4.9 に示し，三次元
特徴点地図から生成した規範画像列を Fig. 4.10 に示す．規範画像の生成は，相違
度が閾値 12 以上になったときに新しい規範画像を生成する．規範画像を生成し
た際の相違度の推移を Fig. 4.11 に示し，規範画像の推移を Fig. 4.12 に示す．こ
れらの画像において，0 ∼ 1000 フレームがスタートからカーブまでの直線区間，
1000 ∼ 2000 フレームがカーブの区間，2000 ∼ 3000 フレームがカーブからゴー
ルまでの区間を表している．規範画像列における 3 ∼ 6 番目の規範画像が，走行
経路のカーブの区間における規範画像を表していることがわかる．
Fig. 4.12 を見ると，1000 ∼ 2000 フレームにかけて相違度が振動していること
が確認できる．この区間は，本実験で指定した走行経路上におけるカーブの部分
に相当しているため，移動ロボットに搭載しているカメラに対して横方向の移動
が加わり，移動ロボットの見えが急激に変化するために発生すると考えられる．
Fig. 4.12 からも，走行経路が直線である 0 ∼ 1000, 2000 ∼ 3000 フレームの直線
区間では見えの変化が少ない建物から離れた地点では規範画像があまり生成され
ず，見えの変化が大きい 1000 ∼ 2000 フレームでは多くの規範画像が生成されて
いることが確認できる．走行経路の直線部分だけでなくカーブの部分に関しても
規範画像を生成出来ていることから，三次元特徴点地図に対して複雑な経路を指
定した場合においても同様に規範画像列を生成することが可能であるといえる
33
Fig. 4.9 Positions of generated reference images on the navigation route including
curve
34
Fig. 4.10 Generated view on the route
35
Fig. 4.11 Variation of dissimilarity while reference images are generated on the
navigation route including curve
Fig. 4.12 Reference images are automatically generated on the navigation route
including curve
36
4.2.2 Bag-of-Features を用いたマッチング手法の最適化
本研究で提案する BoF を用いたマッチング手法におけるパラメータの最適化
を図る．提案手法において，マッチングの性能に関係すると思われるパラメータ
は，BoF のクラスタ数 NC と画像中の小領域の数 NA が挙げられる．NC を増加
させるとより要素数の多いヒストグラムを扱うことになるため，要素数の少ない
ヒストグラムでは表しきれなかった要素も表現することが可能になると考えられ
る．そのため，画像を識別する性能が高くなると思われるが，要素数が増加する
のに伴いヒストグラムを構築する際の計算時間も増加する問題がある．NA につ
いては，分割数を増加していくと照合領域を細かく探索することが可能になるた
め，ナビゲーション時における移動ロボットの操舵制御の精密性が向上すると考
えられる．しかしながら，分割数を増加させていくとそれぞれの少領域内に含ま
れる特徴点の数が減り，各小領域ごとに BoF のヒストグラムを構築することが困
難になる．そのため，提案手法を用いて安定したナビゲーションを実現するため
には，この 2 つのパラメータの最適化を行う必要がある．
この最適化は同じ条件で検証する必要があるため，事前に走行経路上の移動ロ
ボットの見えを動画として撮影したものを用いてシミュレーションを行い，これ
らのパラメータの最適化を図る．BoF のクラスタ数 NC を 2n (n = 1, 2, · · · , 16) ま
で変化させ，同時に小領域数 NA を 2m (m = 2, 3, · · · , 6) まで変化させたときの
マッチング結果により評価する．各フレームに対して参照すべき規範画像を割り
当て，その規範画像に対して移動ロボットの見えが正しくマッチしているかを調
べる．Fig. 4.13 にパラメータを変化させた時のそれぞれの失敗率を示す．失敗率
により評価するため，最も小さいものが最適なパラメータの組み合わせであると
いえる．Fig. 4.13 から，NC = 213 , NA = 32 の組み合わせが最も小さい失敗率で
あることが確認でき，このパラメータの組み合わせが最適なものであるといえる．
また，今回示した地図以外でも同様のシミュレーションを行った結果，これと同
様の傾向が得られたため，このパラメータの組み合わせは他の地図でも用いるこ
とができると考えられる．
37
Fig. 4.13 Failure rate of matching in various clustering condition
38
4.2.3 ナビゲーション結果
4.2.1 節で構築した三次元特徴点地図から生成した規範画像列を用いて，Fig. 4.8
に示す走行経路のナビゲーション実験を行い，提案手法全体を評価する．実験に
は，Fig. 4.7 に示す移動ロボットを使用する．提案手法を用いて規範画像と移動
ロボットの見えとのマッチングを行い，その際に検出した規範画像に対するずれ
量をもとに操舵角を決定し，スタートからゴールまでの経路のナビゲーションを
行う．
以下に指定した走行経路上をナビゲーションした結果を示す．規範画像列に対
する相違度の推移を Fig. 4.14 に示し，Fig. 4.15 にナビゲーション時に参照した規
範画像の推移を示す．また，Fig. 4.16 にナビゲーション時における移動ロボット
の見えの一例を示す．1 ∼ 20 フレームが経路上のスタートからカーブまでの直線
区間，20 ∼ 40 フレームがカーブの区間，40 ∼ 100 フレームがカーブからゴール
までの直線区間を表している．フレームが進むにつれ相違度が最小となる規範画
像は順番に入れ替わり，Fig. 4.10 に示す規範画像列のうち移動ロボットの見えに
最も類似したものを参照しながら移動していることが確認できる．これらのこと
から，提案手法を用いて移動ロボットの見えに最も類似した規範画像を探索する
と同時に，操舵角を決定しナビゲーションすることが可能なことが確認できる．
本実験で，提案手法を用いて指定した経路上をスタートからゴールまでナビゲー
ションを行えることを確認した．
しかしながら，1,2 番目の規範画像に対する相違度が，すべてのフレームに対
してあまり変化していないことが Fig. 4.14 から確認できる．これは，それぞれの
規範画像に含まれる特徴点の数が少ないことが影響していると考えられる．提案
手法を用いて規範画像の各小領域における BoF のヒストグラムを構築する際に，
それぞれの小領域に含まれる特徴量数が少ないと粗なヒストグラムが構築される．
このため，規範画像中のヒストグラムと移動ロボットの見えのヒストグラムとの
差異が多く発生せず，すべての見えに対して相違度が変化しない原因となってい
る．この問題に対して，特徴点数に応じて小領域の数を変化させ，常に密なヒス
トグラムを構築することで対処が可能であると考えられる．これにより，特徴点
の数が少ない規範画像に対しても，提案手法により安定したマッチングを実現す
39
ることが可能である．また，提案手法である BoF を用いたマッチング手法と特徴
量マッチングを，特徴点数に応じて使い分けることが考えられる．BoF を用いた
マッチング手法は特徴点が多い画像に対して優位な結果を示しているが，特徴点
が少ない画像に対してはヒストグラムが粗となりマッチングを行いにくい．それ
に対し，特徴量マッチングは特徴点数が少ない画像に関しては，提案手法と同程
度の計算速度でマッチングを行うことができる．これらの手法を使い分けること
により，規範画像中の特徴点数に依存せずに安定したナビゲーションが実現する
ことが可能である．
40
Fig. 4.14 Variation of dissimilarity between input images and reference images
Fig. 4.15 Result of estimated position based on reference image index
41
(a) 1th Frame
(b) 10th Frame
(c) 20th Frame
(d) 30th Frame
(e) 40th Frame
(f) 50th Frame
(g) 60th Frame
(h) 70th Frame
(i) 80th Frame
(j) 90th Frame
(k) 100th Frame
Fig. 4.16 View of mobile robot during autonomous locomotion
42
5. おわりに
5.1 まとめ
本論文では，従来のナビゲーション手法を用いて移動ロボットのナビゲーショ
ンを行う際に操作者による教示走行が必要となり，大規模な環境でナビゲーショ
ンを行うことが現実的に困難であることを問題として提起し，教示走行を必要と
しないビューシーケンスナビゲーションを実現する手法の提案を行った．
提案手法では，教示走行を必要としないビューシーケンスナビゲーションを実
現するために，インターネット上に存在する投稿写真を用いて SFM により走行環
境周辺の三次元特徴点地図を構築する．この三次元特徴点地図に対して走行経路
を指定することで，教示走行を行わずに任意の経路上の見えを推定することが可
能となる．また，三次元特徴点地図から取得した規範画像列を用いてビューシーケ
ンスナビゲーションを行うために，BoF を用いたマッチング手法の提案を行った．
実際の環境において，インターネット上の投稿写真を想定し，コンパクトカメ
ラにより撮影した画像を用いて SfM により三次元特徴点地図を構築するとともに，
任意の位置からの三次元特徴点地図の見えを推定できることを確認した．また，
三次元特徴点地図を用いることで，これまで人の手を介して半自動的に行なって
きた教示走行を必要とせずに，ビューシーケンスナビゲーションに必要な規範画
像列を取得できることを確認した．提案する BoF を用いたマッチング手法におけ
るパラメータの最適化を行い，従来手法である特徴量マッチングとの比較を行う
ことで計算速度およびマッチング精度において提案手法の優位性を示した．そし
て，提案する BoF を用いたビューシーケンスナビゲーションを用いて移動ロボッ
トを自律移動させ，その性能の評価を行った．
43
5.2 今後の展望
本研究で提案したナビゲーション手法は，任意の画像から構築した三次元特徴
点地図を用いてビューシーケンスナビゲーションを行っている．そのため，イン
ターネット上に投稿されている写真が多く存在する観光地などにおいては容易に
環境情報を構築できるため，こうした環境下における案内ロボットに本手法を応
用することができると考えられる．今後，インターネットの拡大に伴い，インター
ネットから取得できる投稿写真の枚数も増加すると予測できる．現在投稿写真が
少ない場所であっても，今後その情報密度は高くなっていき，提案手法によりナ
ビゲーションすることが可能になるといえる．
今後の課題として，三次元特徴点地図における見えの範囲や特徴点の隠れにつ
いて考える必要があること，パーティクルフィルタなどの確率的な手法を導入し
て自己位置推定を行うことなどが挙げられる．本研究では，三次元特徴点地図に
関する問題には触れず，ナビゲーションにおける教示走行における問題について
取り扱っている．ナビゲーションに必要な部分に限定して地図を構築し実験を行っ
ているため，三次元特徴点地図における見えの範囲や特徴点の隠れについての考
察を行っていない．しかしながら，さらに大規模な環境でナビゲーションを行う
ことを想定した場合，この問題について考察する必要がある．また，提案手法で
は参照すべき規範画像を規範画像列から検索することでナビゲーションを実現し
ているが，パーティクルフィルタなどの確率的に自己位置推定を行う手法を導入
することで検索する範囲を限定することが可能になる．規範画像の検索範囲を限
定することで，マッチングに要する計算時間の短縮が可能となり，参照すべきで
ない規範画像を参照する可能性が低くなるため，より安定したナビゲーションが
可能になると考えられる．これらの問題を解決することにより，大規模な環境下
においても教示走行を行わずにナビゲーションすることが可能なシステムの実現
が期待できる．
44
謝辞
本研究は，奈良先端科学技術大学院大学 情報科学研究科 情報システム学専攻
ロボティクス講座 小笠原司教授の御指導の下で行いました．本研究の遂行にあた
り，さまざまな御指導や御助言を賜わりました小笠原司教授に深く感謝致します．
また，論文執筆にあたり丁寧な御検討や御教示を頂いた本学情報科学研究科の
杉本謙二教授に御礼申し上げます．
本研究の遂行や論文執筆など多岐にわたり，その専門知識で適切な御意見，御
指導を頂きました本研究科の高松淳准教授に深く感謝致します．
研究方針や論文執筆など，様々な点において御指導して頂きました本研究科の
竹村憲太郎助教に深く感謝致します．
研究方針や問題の提議など，研究遂行にあたって非常に多くの御助言や御指導
を頂きました本研究科の池田篤俊助教に深く感謝致します．
御助言や御質問とともに多くの適切な御指導を頂きました本講座 OB の末永剛
氏に深く感謝致します．
大学生活や学会発表等において，事務処理などさまざまな面でサポートして頂
いた本講座秘書の山口美幸氏および大脇美千代氏に深く感謝致します．
本研究を進める上で的確な御助言や御指摘を頂き，議論して頂いた特任助教の
山口明彦氏，博士後期過程の近藤豊氏に深く感謝致します．
本研究の実装や遂行にあたり，的確なアドバイスを頂き，多大なご協力を頂い
た本講座インタラクショングループの博士前期過程の福間健太氏，山川智久氏，
本山裕之氏，そして研究室内外の皆様に深く感謝致します．
そして，さまざまな議論やご助言を頂いた先輩，同輩の皆様，後輩達には，お
世話になりました．皆様のおかげでこの二年間を充実したものにすることができ
ました．
最後に，長年の学生生活を支えて頂いた両親，家族，そして友人達に心から感
謝致します．
45
参考文献
[1] 下笹：“警備ロボットの現状”, 映像情報メディア学会誌, 57, 1, pp. 79–82
(2003).
[2] W.Burgard, A.Cermers, D.Hahnel, G.Lakemeyer, D.Schulz, W.Steiner and
S.Thrun: “Experiences with an interactive museum tour-guide robot”, Artificial Intelligence, 114, 1, pp. 3–53 (1999).
[3] 松本, 稲葉, 井戸：“ビューベーストアプローチに基づく移動ロボットナビゲー
ション”, 日本ロボット学会誌, 20, 5, pp. 506–514 (2002).
[4] 齋藤, 後藤, 松本, 小笠原：“センサデータ列の記憶とマッチングに基づくナ
ビゲーション-レーザレンジファインダを用いた実装-”, 第 3 回計測自動制御
学会システムインテグレーション部会講演会予稿集, pp. 299–300 (2002).
[5] M. Cummins and P. Newman: “Appearance-only slam at large scale with
fab-map 2.0”, International Journal of Robotics Research, 30, 9, pp. 00–24
(2010).
[6] 山城, 怡土, 竹村, 松本, 高松, 小笠原：“ビューシーケンスに基づく照明変化
に頑健な屋内外ナビゲーション”, 日本ロボット学会誌, 27, 7, pp. 768–773
(2009).
[7] E. Abbott and D. Powell: “Land-Vehicle Navigation using GPS”, In Proceedings of the IEEE, 87, 1, pp. 145–162 (1999).
[8] 大前, 橋本, 藤岡, 清水：“Rtk-gps を用いた自動車の自動運転”, 計測と制御,
44, 4, pp. 266–269 (2005).
[9] 木瀬：“汎用ロボットトラクタのシステム開発に関する研究”, 北海道大学大
学院農学研究科邦文紀要, 25, 1, pp. 1–60 (2003).
46
[10] Y. Morales, E. Takeuchi and T. Tsubouchi: “Vehicle localization in outdoor
woodland environments with sensor fault detection”, In proceedings of IEEE
International Conference on Robotics and Automation, pp. 449–454 (2008).
[11] 桂, 三浦, ヒルド, 白井：“季節や天候の変化にロバストな視覚認識に基づく
移動ロボットの屋外ナビゲーション”, 日本ロボット学会誌, 23, 1, pp. 75–83
(2005).
[12] 三浦, 森田, ヒルド, 白井：“Svm による物体と位置の視覚学習に基づく屋外
移動ロボットの位置推定”, 日本ロボット学会誌, 25, 5, pp. 792–798 (2007).
[13] 萩原, 今村, 崔, 渡辺：“Surf を用いた view-based navigation による位置分
解能の向上”, 電気学会論文誌. C, 電子・情報・システム部門誌, 130, 8, pp.
1395–1403 (2010).
[14] M. Montemerlo, S. Thrun, D. Koller and B. Wegbreit: “Fastslam: A factored solution to the simultaneous localization and mapping problem”, In
Proceedings of the AAAI National Conference on Artificial Intelligence, pp.
593–598 (2002).
[15] 森岡, 李, T. Noppharit, 長谷：“人の多い混雑な環境下での slam による移
動ロボットのナビゲーション”, 日本ロボット学会学術講演会予稿集 (1Q3-6,
2010).
[16] 金子, 三浦, 佐竹：“屋外ナビゲーションのための見え系列生成”, 日本機械学
会ロボティクス・メカトロニクス講演会講演論文集 (2P1-F06, 2010).
[17] 松村, アグラワル, 中澤, 竹村：“レーザーレンジデータと google maps 画像
の位置合わせを用いた三次元都市環境のモデリング”, 画像の認識と理解シン
ポジウム (2009).
[18] 森, 佐藤, 黒田, 栗原, 田中, 下坂, 福井, 佐藤, 野口：“航空写真と電子地図に
基づくエッジベースグリッドマップとレーザ測域データによる屋外マップ構
築”, 日本ロボット学会学術講演会予稿集, 1Q2-5 (2010).
47
[19] S. Agarwal, Y. Furukawa, N. Snavely, B. Curless, S. M.Seitz and R. Szeliski:
“Reconstructing rome”, Computer, 43, pp. 40–47 (2010).
[20] J. Sivic and A. Zisserman: “Video Google: A text retrieval approach to
object matching in videos”, In proceedings of IEEE International Conference
on Computer Vision, Vol. 2, pp. 1470–1477 (2003).
[21] D. Arthur and S. Vassilvitskii: “k-means++: the advantages of careful seeding”, In proceedings of ACM-SIAM Symposium on Discrete Algorithms, Society for Industrial and Applied Mathematics, pp. 1027–1035 (2007).
[22] D. Nistér and H. Stewénius: “Scalable recognition with a vocabulary tree”,
In proceedings of IEEE Computer Vision and Pattern Recognition, pp. 2161–
2168 (2006).
48
発表文献
1. 森太一，竹村憲太郎，高松淳，小笠原司: “Bag-of-Features を用いた環境変
化に頑健なビューシーケンスナビゲーション”, ロボティクスメカトロニク
ス講演会，1A1-M03 (2011).
49