hw/sw 複合による対象物追跡アプリケーションの実装

hw/sw 複合による対象物追跡アプリケーションの実装
カラーステレオマッチングを用いた対象物追跡アプリケーション
東京農工大学／佐藤季花・工藤健慈・田向
権・関根優年
Application Project
swObject
hwObject
API-Library
hwModule
DeviceDriver
第1図
HOSTHOST-PC hwModuleBoard
hwObject と hwModuleBoard
GPIF
(General Purpose Interface)
Action!!
hwModuleBoard
Software
Hardware
Reconfigurable
[hwModule]
Application
API
OS
hwNet
hwObject
Library
hwNet
Library
hwModule
Driver
hwNet
External Modules
GPIF
hwNet
hwNet
hwNet
Universal
第 2 図 システム外観
Move!
Right Eye
Move!
Left Eye
Center
Target Point
Vertical
CMOS Sensor
Image:640x480
Gray:30frame/sec
Color:15frame/sec
Horizontal
Servo Motor
2.83[ms/deg]
第3図
全体写真
Cyclopean Eye
StereoMatching
Triangulater
Location
i
StereoImage
Controller
iv
QVGA(320x240), YUV
Wavelet L
Transformer
i
Current
Current
Camera R
Interface
Camera L
Interface
L
R
Target
Eye L
Actuator
Wavelet R
Transformer
VGA(640x480) ,YUV
ii
StereoEye
Actuator
Disinhibition
L
Matching
Result R
Matching
Result
Template
Image
Template
Matching
on
Angles (Center)
iii
(L
/R
)
In
hi
bi
ti
Po
in
t
Image (L/R)
Point (L/R)
iii
Template Image
ii
Eye R
Actuator
Output Block
Notes
hwObject
swObject
Data
Input Block
Message
第 2 図 hwObject /swOBject によるアプリケーション構成
Ｉ2Ｃ
ＰＣＩ
YUV422
C3188A（640x480）
I2Cインターフェース
8bitパラレル出力
第5図
HOST-PC
15
StereoImage
Controller
API+Driver
アプリケーション
メモリ型PCIボード
COMOS カメラとｈｗModule
hwModule
FPGA1 L/R
StereoMatching
Triangulater
Template
Matching
4
CyclopeanEye
StereoEye
Actuator
LM1 L/
MatchingR
Result
5
Template
Image
Wavelet R
4
Transformed
Image
Lv. 1,2,3
第一候補
第一候補
Matching
Result
Left View (WT Lv.1)
Right View (WT Lv.1)
Right View
(Original)
Template Image
Left View
(Original)
GPIF2,3(16bit)
15MHz(max)
2
L
EyeModule
FPGA2 L
Camera
Interface
2
Wavelet
Trans.
3
Eye
Actuator
VGA:67ms, 15fps
2
R
EyeModule
FPGA3 R
Camera
Interface
2
Wavelet
Trans.
3
Eye
Actuator
第6図
LM2
L 3
Camera
Image
Wavelet L
Transformed
Image
4
Lv. 1,2,3
LM3
Camera
Image
EyeActuator Interface
第9図
アプリケーション実行中の GUI
Synthesized Image Template
Target Image
1
2
3
4
5
6
7
8
R 3
LM-Bus:132Mbyte/s
VGA:4.7ms, 212fps
QVGA:1.2ms, 833fps
ｈｗModule 上での hwNet の配置、
LM の割り当ておよびデータフロー
Time
0
5
4
3
6
7
0, 8
2
1
First Template
第 10 図
対象物と合成テンプレート