大局的最適化に基づくサッカー映像における選手追跡

計測自動制御学会東北支部第 2
8
3回研究集会 (
2
0
1
3
.
1
0
.
2
5
)
資料番号
2
8
3
・
2
大局的最適化に基づくサッカー映像における選手追跡
P
l
a
y
e
rTra
c
k
i
n
gBasedonG
l
o
b
a
lO
p
t
i
m
i
z
a
t
i
o
ni
nS
o
c
c
e
rVideo
0石島慎也ヘ張山昌論ヘ亀山充隆ホ
oShinyaIshijima'¥l
¥
I
I
a
s
a
n
o
r
iHariyama
ヘMichitakaKameyama*
*東北大学大学院情報科学研究科
市
GraduateS
c
h
o
o
lo
fI
n
f
o
r
m
a
t
i
o
nS
c
i
e
n
c
e
s，
TohokuU
n
i
v
e
r
s
i
t
y
キーワード: 大局的最適化 (
G
l
o
b
a
lO
p
t
i
m
i
z
a
t
i
o
n
)，
動的計画法 (DynamicProgramming)，サッカー映像 (
S
o
c
c
e
rV
i
d
e
o
)，
C
o
l
o
rS
t
a
t
i
s
t
i
c
a
lT
e
m
p
l
a
t
e
)，選手追跡 (
P
l
a
y
e
rTra
c
k
i
n
g
)
色統計テンプレート (
連絡先: 干 9
8
0
・
8
5
7
9 仙台市青葉区荒巻字青葉 ι6
・0
5
東北大学大学院情報科学研究科亀山・張山研究室石島慎也
Te
l
.
:(
0
2
2
)
7
9
5
7
1
5
5
.F
a
x
.
:(
0
2
2
)
2
6
3
・9
1
6
7
.E
m
a
i
l
:s
_
i
s
h
i
ji
m
a
0
e
c
e
i.
七o
h
o
k
u
.a
c
.j
p
1
. はじめに
局所最適化に基づく手法であり，物体位置を逐
次的に確定していく.これらの手法はオンライ
近年，スポーツ界において，対戦相手の戦術
ン型処理により，リアルタイム処理が可能とな
や傾向を分析して試合に臨むといったデータ重
る.しかし，同じチームの選手が接近したり，オ
視の傾向が強まっている.しかしながら，映像
クルージ、ヨンが発生するととで，一度追跡対象
を解析するためにはボールや選手の位置などの
情報を抽出する必要があり
を見失うと，誤った選手を追跡し続けてしまう
当初はそれらの情
という問題があった.
報は，人閲が映像を見ながら逐一手動で入力し
そこで本研究では 全フレームを活用して経
ていた.サッカーなど常に動き続けるスポーツ
路全体を一括して求める大局的最適化に基づく
において，選手やボールの位置を手動で取り出
手法を研究している.大局的最適化に基づく手
すのには膨大な時間とコストがかかる.また長
法は，局所最適化に基づく手法に比べて計算量
時間の解析作業は解析者に大きな負担を強いる
は増加するものの，オクルージ、ヨンや類似物体
ため，疲労による精度低下も起こりうる.そと
の存在に頑強であるため，高精度な追跡が期待
で，選手やボールを自動的に追跡する研究が広
できる.
く行われており，特にサッカーに関するものが
本稿では，各フレームにおいて色統計テンプ
)
.
多く報告されている 1
レートと HOG特徴量を用いて選手候補領域を
従来，映像中の物体の位置を検出し，追跡す
抽出し，これらを基に動的計画法を用いた大局
る手法としては，色成分を用いたパーティクル
的最適化による追跡手法を提案する.
)，可変サイズテンプレー
フィルタによる手法 2
)などがある.これらの手法は
トを用いた手法 3
唱E
2
. 色・輝度勾毘情報を用いた選手
検出手法
曜曜園
色統計テンプレート
本研究では，全選手のトラッキングを行うた
*
めに複数台の固定カメラを用いてグラウンド全
体を撮影した動画像を用いる.固定カメラを用
いた一般的な選手検出手法として背景差分法が
各値I
ま百分率(%)
あるが，複雑な背景状況で選手を検出できない，
複数の選手が接近した場合に領域を区別できな
F
i
g
.1 色統計テンプレート
いという問題がある.サッカーの試合で、は，選手
はチームごとに同じ色のユニフォームを着用す
るため，各チームの色情報に着目した色統計テ
ンプレートを用いて選手検出精度の改善を図る.
砂
-
色統計テンプレートとは.各チームにおいて
チームの色が存在する確率分布を統計的に表し
背景差分法
たテンプレートであり背景差分法で検出した選
色統計テンプレート
(
a
)複雑な背景状況
手領域を用いて，チームごとに作成する (
F
i
g
.
1
)
.
検出はチームの色で二値化した入力画像に対し
て行い，探索ウインドウを走査して色統計テン
砂
-
プレートとのマッチングを行う.探索ウインド
O
o
r
1
)をん，色統計テンプレー
ウ Iの各画素値 (
0
"
"
"
"
1
0
0
)を九とすると，マッ
トTの各画素値 (
背景差分法
チングの評価関数 1
¥
1
(
1，T)は式 (
1
)で表される.
(
b
)選手同士の接近
評価関数の値は探索ウインドウが選手である確
F
i
g
.
2 色統計テンプレートによる選手検出
率を示している.
M(I， T)
色統計テンプレート
ゃl
x
T
:
=でず
(
1
)
色統計テンプレートを用いて選手領域を検出
F
i
g
.
3 HOG特徴量
した結果を F
i
g
.
2に示す.背景差分法では複雑
な背景状況や複数の選手が接近した場合など検
してしまう.そこで本研究では人検出や車検出
出精度が低かったが，色統計テンプレートでは
等の一般物体認識に利用される HOG特徴量も
複雑な状況に対しても精度よく検出できている.
併用する.
HOG特徴量は F
i
g
.
3のように輝度勾配情報を
選手検出を行っているため，選手の腕によりユ
用いて形状特徴に着目した特徴最であり，照明
ニフォームが隠れた場合や
日光などの影響に
変動に頑健という特性があり，正しく色情報が
より彩度・明度が低下した場合など正しく色情
得られない場合でも検出が可能であると考えら
報が得られない状況では，選手検出精度が低下
れる.
n
，
しかし，色統計テンプレートは色情報を基に
3
. 動的計画法に基づく選手追跡手
法
動的計画法は大局的最適化手法の 1つであり，
)
5
).
幅優先探索に基づく組合わせ最適化法である 4
動的計画法を用いたトラッキング、で、は，全フレー
ムを入力後に各時刻ごとに各位置(ノード)にお
いて局所コスト(エッジ)を計算し，最終フレー
(
a
) 非オクルー
(
b
) パッシ
ジョン
ブルオク
J
l
ノージョン
(
c
)オクル
ージョン
Fig.4 選手の状態
ムにおいて最小累積コストを持つノードにたど
りつく経路が追跡対象の最適経路となる.
動画像全体に対して動的計画法を適用すると
計算昼が莫大であるため
本研究では区間分割
を行い，区間ごとに大局的最適化を行うことで
計算量を削減する.まず選手の状態として，非
オクルージョン，パッシプルオクルージョン，オ
クルージ、ヨンの 3つの状態を定義する，非オク
で検出した選手領域
フレーム 1
(
a
)フレーム lで検出した選手領域
l
レージョンとは周りに他の選手がいない状態で，
ノトyシブルオクルージ、ヨンとは選手同士が接近
した状態，オクルージ、ヨンとは一方の選手に隠
れでもう一方の選手が検出できない状態である
(
F
i
g.4).非オクルージ、ヨンの状態では周りに他
の選手がいないため，その選手を確定できる状
態であるので，非オクルージ、ヨン 非オクルー
ジ、ヨンの区聞を 1つの区間として区間ごとに大
O
(
初期) 1
局的最適化を行い，それぞれの区聞における追
跡結果をつなぎ合わせることで動画像全体の追
跡結果を得る.
2
"
(
b
)対応するノード
Fig.5 提案手法のノード
提案手法では. F
i
g
.
5のように検出した選手領
ここで ntはフレーム tにおいて Nt
.
.
1から Nt
mの
域をノードとする.選手検出に失敗している場
うち選択するノードを示している.右辺第 1項
合は.非オクルージ、ヨン時に最小二乗法を用い
中の d
t
(
n
t
)は局所コストであり，前フレームで
て選手の予測位置を求めておき，予測位置の場
選択したノードとのテンプレートマッチングの
所に仮想ノードを作成する.初期フレームでは
値と，非オクルージ、ヨン時に求めた予測位置と
追跡する選手を l人指定する.
の差の 2つの値の和を使用する.右辺第 2項中
またエッジは式 (
2
)で表されるコスト関数で
ある.
n
t-n
t
_
l
)
2は連続'性コストである.右辺第
の(
3項は仮想ノードに対してのコストである.定
数入1.入2は局所コスト，連続性コストの重みであ
F(
η
o
.n
l
. …nT)=
る.このコスト関数を最小イヒする経路が最適追
入1乞 d
(
7
l
t
)
+入2E(nt-n
t
_
l
)
2+乞 V
t(
n
t
)(
2
)
t
跡経路となる.
上で述べた手法は選手個人を追跡する手法で
。
。
あるので，乙の手法を用いて複数人同時追跡す
5
. まとめ
る手法について述べる.今回は同チーム選手 2人
本稿ではサッカー映像において選手を自動追
)にオクルージョ
(プレイヤー A，プレイヤー B
F
i
g
.6
)
.同
ンが発生した場合について考える (
チーム選手 2人にオクルージョンが発生すると
選手の対応がとれなくなり誤追跡が発生しやす
それぞれを追跡対
い.そこでプレイヤー A， B
象として動的計画法を行い非オクルージョン
になった時に，プレイヤー Aを追跡対象として
行った各ノードの累積コストとプレイヤー Bを
跡する手法として大局的最適化に基づく動的
計画法を用いる手法を提案した.また同チ一心
選手 2人のオクルージ、ヨンに対して実験を行い，
提案手法の有用性を示した.今後の課題として，
さらに複雑なオクルージョン状況に対応するた
めに
3人以上のオクルージ、ヨンへの展開を考
えることが必要となる.
追跡対象として行った各ノードの累積コストを
それぞれ比較し，プレイヤー A， B~こ別々の選
手を確定させる.とうすることで，プレイヤー
A， Bが非オクルージョンになった場合に，プ
レイヤー A， Bが同じ選手を追跡するなどの誤
追跡をなくし，選手を同時追跡することが可能
となる.
4
. 評価実験
同チーム選手 2人にオクルージョンが発生し
た状況で，局所最適化に基づく従来手法と，大
局的最適化に基づく提案手法それぞれにおいて
追跡を試みる.従来手法により追跡した結果を
F
i
g
. 7に，提案手法により追跡した結果を F
i
g
.
参考文献
1
)糟谷望，北原格予亀田能成，大田友一，“サツ
カーシーンの選手視点映像提示に向けた 2台の
カメラによる選手軌跡獲得ぺ全国大会講演論文
.
17
0，
N
o
.
2，
p
p
.
"
2
・3
6
7
り 2
・3
6
8
'
!，
2
0
0
8
.
集
，Vo
2
) 片岡裕雄，青木義満，“サッカー映像解析のため
の遮蔽にロバストな複数選手追跡手法ぺ電子情
報通信学会論文誌.
C，電子・情報・システム部
門誌 Vo
.1
l
3
0，
N
o
.1
1，
2
0
5
8
・2
0
6
4
p，
2
0
1
0
.
3
) 服部憲和，青森久，松田一朗?伊東晋，“サッカー
映像における可変サイズテンプレートを用いた
ボール追跡¥情報科学技術フォーラム講演論文
.
I8
，
N
o
.
3，
2
0
1
2
0
2
p，
2
0
0
9
.
集 Vo
4
) 藤村一行?内田誠一，“DPトラッキングペ画像
の認識・理解シンポジウム (
M
I
R
U
2
0
0
8
)，
2
0
0
8
.
5
) 川野裕希，藤村一行?フォンヤオカイ，内田
誠一，“多峰型解析的 DPを用いた動画像中の物
8に示す.従来手法ではオクルージ、ヨンが発生
した際に追跡対象を見失い，他の選手に誤追跡
してしまっている.提案手法で、はオクルージ、ヨ
ンが発生しでも正しく追跡できている.
プレイヤーA?B?
F
i
g
.
6 同チーム選手 2人のオクルージョン
-4-
体追跡ぺ情報科学技術フォーラム講演論文集
Vo
.
19，
N
o
.
3，
1
9
9
・2
0
0
p，
2
0
1
0
.
開 . . . ー ロ 加 議 場"'-jj
~:~jji~t~曹長自
1
詳
埼
説
よL
執
:
執
伊
執
伊I
灘
ぎ
鍛
毅
I
語、完;弓I
奪三襲撃事振替I 1
R- 了_~ ~ ~:ç~~ ~~ ;，i::~_-~ ~手.泳三?主多数=暴露走塁対お・
I
=
=
=
=
毛
喜
謀
:
:
;
.
g
日
主
詰
語
吾
:l
、
禍
一
〆
-j
削
配ド
a
--~-叶叩....一.-
j
ぶ 咽
凋]・
I
z
......
~.
...
~~au~"__1
弓担~中三
νma~
A
援等務-議..毛主
除 て 日
:擁立ト:奪三言語.努I
言語二需品賞均三;機
戸
遂
釘I薮
山訟ご
:
噌
噛
噛
+
紅
1
全;烹緩該宗総主義と 省
三 二 主 立 ち 九 四
一一一一.ト一一
一…
ー
:
む
.
ド J議長藤!I訟を議記訟霊長惑を.，
i
♂
よ
I
i
午
手
l
f
d
i
j
申-
I
=.，.干守口rBl百二J去る司--τi主持括主主己主ーもニ主よ下Eifi下手~可制 I
恥lUコ二ヒ土庁I
閉;河口昭 iご弘前;一一語.
m
一 iI
.
ふ
I
i
4
盆
ι子
三
I
三
I
瓦
瓦
i
議
ι
3
玄
変
変
￡
IJ
円
Iz
警
翠
警
撃
斡
;
詮
壁
減
婚
;
積
:
型
京
義
援
護
￨
腕お-均一〆絞'前三-み二京会議れ路網￨
￨
川
、
一
ペ
f
口
"
'
"
山
J
.
一
二
f
己「
τ
一
工汚
I
!
i
沼
語
諸
殺
芝
傘
.
殺
モ
づ忌
芝
ダ
京F 謡
告
溌
尊崩
空
司
日
翠
〉
議
長
ぜ
ξ
ぐ
?
ず
ペ
可
吟
宇
竺
ふ
刈
酔
毛
な
寸
4
尚
一
問
f
A
d
三
:
三
:
三
嘉
轟
斡
峯
欝
彰伊
善
芹
問
守
戸
持
捧
鑑壬丞丞.記丞丞玄￡
変雲忍忍主ミでづ
!ドそ一六.一.仲吃
主主帝~
主
~芦在日lIII!iW，!右足 H日曜丞-詰~I
議 院 主 憾 表 弘 法 三 彩..
品三三純一ミ湖￨
￨
h
I
忍
I
!
あ..
戸こな f立問r:::~~ :
.'
.
:
;
.'liCl1L~， '~.;1 .::i':
'
.午議I
嘉義説者藷階段
宮
市
-
-愛護主主主ma
ナき 1¥ 穏~来11 こ --ι_1
写会議襲撃1
1
1主
義
是
正
弘I立
、 浪'安三也 . .
荷
主1
.
.
c
=
一
九
一
…
~~ø Et:l
. - 岩 山l
再
三
l
E
!
B
'
!
!
l
!
i
記
!
'
:
i
I
I
、
J
昨 瓦
M項 一-ト，-五=
P
1J112
，~~~司一
芝
玄
営
営
了
髭
了
三
I
館
一
一
一
一寸11
l
そ
と
f
f
d
c
v
正五!II正員証兵一士 主音2
位以三己=巳!!!ー:心、
l
さ--半--ーー』二三
i
譲
暴
護I
護.習室主主:慈雲警浮l iI業主奪容竺 I 腎~~
主ベ、
正午応
・
.
υ
￨
••
i
3ι
三
I
三
三
I
J
三
芸I
欝
警
自
接
f
室
駐
主
I
竿議議三主主1
l
I
ι
芸
ξ
芸
ι
志
己
己
?
弓
宗
:
三
♂I 1 ¥
斗
H
4
ι
ι
?
一
!
持 d
品r
九
l
ι倍
広
'晶
ι
主
広
よ
之
主一
4
五主
5
走
一
;綜干這1
1
払
吟
年F
打
f
訟
曇I
主
晶
I
i
み
恒
主
お
事
者
胡
剥
辺
副
￨
圏
目
~・~
ー
冶
七
酔警富守主主虫量1
1
ιイミ I
R
I
ぞ:ツ主-ピ押さ仁了か:了号法ω f
i
l
長
;
込
二
主
引ぷ
1
叫
藍
:
議
譲
繋
?
三
三
饗
筆
畿
!
三
一
1
1
1
d
t
E
メ
摺酌苧IE
二=弓zιFヰ11
勾ココヒ山
rム
g
モ引
1汀ヲ喜愚莞i峨
IIげ骨
111口;ニ三習現[Ilぽ~ごトI境電.，市許寸
ι1
三二1三工主7つつ
司￨
司
吉
討
沖
右
#
井
杭
三
t
浅
綜
気 三敏誠三梧号至三議幾齢長必
J
縛
議
掛
桜
妓
絞
=
襲
鱒
義
転
1
転
1
守
土
1
齢
沿
寺
1
す
と
今
斗
さ
斗
品
辺
諸
λ
￨
諒
i
ι
二
1
1
民
=
儲
己
..
引
一
&
口
品
I
沌
滝
;
ご7
三
1
1
甥
12
議
5
多
言υ
苧
戸
〈
三
三
I
茎
J
哀
三
三
?
言I
議議多様務調 1
d
11
ご
二 ぷ三金I
与に..認さ友重量I
豆諸￨
L
_ 1
.
目
一
=-<戸岸““担白噛
f
珂司弔-吾=三 1
百目砿!M
曜
議
説
ぷ
:
議
.
妥
護
語
.
手
豆
主
三
.
玄
護
:
玄
茎
霊
婁
止k
J
一 一 ‘ 臼 凶 叫 凶 凶4
一
1
刈
升
州
￨
圃
担s
針ぜ
"-=ι
二ブ""宅
忌 .凶 三
怪
易
九
凡
一
J
イ
.
圃
J
圃
.
.
!配， .
"
l
.
:
!
.
.
.
.
!
.
:
l
:
t
:
.
:
}
.
:
'
:
:
f
問
調
!:
;
'~\i，7~i::".~ ~ ~
I髪室奪回安;警努淳子I
一
一
襲撃苦三
- 持r
~~ct~lj;~~l"';ι 口高・IユI公方向義名I義:之容 ずE
_1
-¥11
点地ょプ
三 円I
議銭関科長野-'・
..1
要f
l
部長懇lIll叶説者懇魚崎与繍.
ニ - 当F
二、
吋-三毛誌がてラ-ミ1
1が
を
:
、
主2王忌灘高ιペL
伊--凋~ベ--宮p 明 i 戸t・阜市、1
免税ーモ二弘子王宮島
i喰 ¥
1
1
事欝蓋三寸公認.
1
アアアコ
叶町日九........，.."..叶
I
1
院長i
吉正日-訟三三三二一一広三二三二工1
1
1子三議滋 主主主室副.
Fig.7 従来手法による追跡結果
i
喜
1
1
1
主
1
1
毛議室定義丞件ミケタ
院議守護委 務長..予言二手
Fig.8 提案手法による追跡結果
。
竺