モルフォロジー演算による画像からの人物 抽出

平成 23 年度
修士学位論文
モルフォロジー演算による画像からの人物
抽出
Extraction of human from image by morphological
operation
1145090
山本 圭太
指導教員
岡田 守
2012 年 3 月 1 日
高知工科大学大学院 工学研究科 基盤工学専攻
情報システム工学コース
要 旨
モルフォロジー演算による画像からの人物抽出
山本 圭太
本研究では，単一画像から人物領域を抽出しその数を検出することを目的としている．現
在，デジタルカメラなどによる顔検出機能が広く利用されているが，人物の位置や体の大き
さの情報をを取得できる人物検出注目されている．任意の方向や体勢の人物が検出できれ
ば，監視映像からの不審者の発見や人数管理によるコスト削減など様々な用途への応用が期
待できる．
従来の研究で使われている手法の多くは，人物の身体形状を特徴として抽出しているの
で，物体や人物同士の重なりによる誤検出が問題として挙げられる．その問題の解決策とし
て，人物の重なりを考慮した特徴の抽出が必要がある．
モルフォロジー演算の画像解析処理と肌色抽出を用いて，人物の頭部情報である髪型と肌
色情報を抽出した．モルフォロジー処理には，物体の特徴的な部分を抽出し，それ以外を削
減する性質がある．この 2 つの特徴量を人物の特徴とし，2 点の座標間の距離から人物の位
置と数を特定する手法を提案する．
本論文ではこの提案手法を用いて，重なりを含めた単一画像中の人物の数を検出する実験
を行う．実験の結果から人物以外の誤認識も存在したが，単一画像から重なりも含め約 8 割
以上の人物を検出することができた．
キーワード
モルフォロジー演算, 顔検出, 肌色抽出, 画像解析
–i–
Abstract
Extraction of human from image by morphological operation
Keita Yamamoto
The purpose of this research is to extract from a picture and to measure their
number.
Now, the system for detecting face from image took by a digital camera is used.
Moreover, people detection has been attracted attention to understand their positions
and their bodily size. If this technology is used, the suspicious people can be discovered
and the management of the number of people and the reduction of cost can be expected.
In many researches, there is a problem which people and a thing overlap since the
feature is extracted as the form of people’s body. In the solution, the overlap took to
become considered. People’s hair and skin color are extracted by using image processing
by morphological operation and extraction of skin color. In the morphological operation,
they are left as the objective features and the other features are reduced. The purpose
of this method is to specify the position of people and the number of people from these
two distance of features.
In this paper, it is cleared that the number of people including overlap from image
are extracted by the experiment conducted by using this proposed technique. In the
result of this experiment,it has been presented that this method can be detect about 80
percent of people including overlap.
key words
morphological operation, skin color extraction
– ii –
目次
第1章
序論
1
1.1
研究背景 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1
1.2
研究課題 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
3
1.3
研究目的 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
4
1.4
論分の構成 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
5
研究内容
6
処理方式 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
6
第2章
2.1
2.2
第3章
3.1
2.1.1
モルフォロジー演算 . . . . . . . . . . . . . . . . . . . . . . . . . .
6
2.1.2
肌色抽出 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
6
2.1.3
人物判定 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
6
処理手順 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
7
人物画像取得
8
人物環境データ取得 . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
8
3.1.1
撮影機材 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
8
3.1.2
撮影環境 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
10
3.1.3
環境設定 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
11
3.2
撮影する人物画像
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
11
3.3
撮影方法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
11
モルフォロジー演算
12
4.1
モルフォロジー演算とは . . . . . . . . . . . . . . . . . . . . . . . . . . .
12
4.2
モルフォロジー演算処理 . . . . . . . . . . . . . . . . . . . . . . . . . . .
12
4.3
構造化要素とは . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
13
第4章
– iii –
目次
4.4
dilation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
14
4.5
erosion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
15
4.6
opening . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
16
4.7
closing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
17
4.8
多値画像への演算例 . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
18
4.9
適用画像例 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
19
4.10
closing 性質 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
20
4.11
モルフォロジー演算処理例 . . . . . . . . . . . . . . . . . . . . . . . . . .
21
肌色抽出
22
5.1
肌色抽出とは . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
22
5.2
色空間とは . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
23
5.3
処理内容 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
24
第5章
第6章
5.3.1
色空間の設定 . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
24
5.3.2
肌色領域のラベリング . . . . . . . . . . . . . . . . . . . . . . . . .
27
5.3.3
ラベリング空間の座標取得 . . . . . . . . . . . . . . . . . . . . . .
28
人物判定
29
6.1
人物判定とは . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
29
6.2
座標の取得 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
30
6.3
閾値の設定 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
31
実験
33
7.1
実験環境 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
33
7.2
実験内容 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
35
7.3
実験結果 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
35
7.4
閾値検証 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
37
第7章
– iv –
目次
第8章
考察
38
8.1
成功したポイント
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
38
8.2
失敗したポイント
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
39
第9章
まとめ
41
9.1
結果検証 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
41
9.2
今後の展開 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
41
9.2.1
誤認識の削減 . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
41
9.2.2
認識精度の向上 . . . . . . . . . . . . . . . . . . . . . . . . . . . .
42
謝辞
43
参考文献
46
–v–
図目次
3.1
カメラ本体写真 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
8
3.2
撮影環境 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
10
3.3
撮影風景 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
11
4.1
構造化要素種類 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
13
4.2
dilation 図 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
14
4.3
erosion 図 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
15
4.4
opening 図 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
16
4.5
opening 図 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
17
4.6
2 値画像の場合 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
18
4.7
多値画像の場合 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
18
4.8
種類別変換図
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
19
4.9
Closing 処理例 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
20
4.10 モルフォロジー演算結果 . . . . . . . . . . . . . . . . . . . . . . . . . . . .
21
5.1
色相変換図 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
24
5.2
肌色抽出結果
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
26
5.3
ラベリング図
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
27
5.4
座標点取得 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
28
6.1
特徴量画像 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
29
6.2
座標探索法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
30
6.3
人領域の場合
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
31
6.4
人領域以外の場合 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
32
– vi –
図目次
7.1
講義風景その 1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
33
7.2
講義風景その 2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
34
7.3
実験結果その 1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
36
7.4
実験結果その 2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
37
8.1
抽出成功例 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
39
8.2
抽出失敗例 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
40
– vii –
表目次
3.1
撮影機材一覧
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
8
3.2
デジタルビデオカメラ仕様 . . . . . . . . . . . . . . . . . . . . . . . . . .
9
3.3
気泡管型水準器仕様 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
9
– viii –
第1章
序論
1.1
研究背景
近年，画像処理を用いた人数計測は，多様な環境に適し，容易に設置できることから注目
を集めている．侵入や盗難などの防犯，財産保全および人の安全確保などセキュリティ面で
の関心が高まっている．今後，不審者や侵入者を自動的に検知する技術に対するニーズは高
まっていくといえる．他にも小売店におけるプロモーションや商品戦略において，人の検知
は重要なマーケティング情報の 1 つである．このように人の存在や大きさを検知する技術
は，アプリケーションへの展開などが考えられる重要な基盤技術であるといえる．ここ数年
で，顔や人物の検出が向上し，デジタルカメラなどに顔検出機能が搭載された事で，画像か
らの検出技術の有用性が認知されてきた．今後，顔画像に限らず，任意の方向や任意の姿勢
をとった人物を検出できれば，利便性の向上や安心と安全のための様々な用途へ応用できる．
このようなカメラで捉えた画像を処理する技術は，既存の赤外線センサなどと比較して，可
視的な情報が得られることや，処理エリアが広く今後の普及が期待される分野である．また
録画も可能であり，目視による直接的なモニタリングが不要となり，ネットワーク利用によ
る遠隔監視が可能である．例えば，デパートや店舗などでの人数集計や小売店舗内における
人の位置を利用したマーケティング調査，防犯カメラでの応用によりエリア内に侵入した人
を検知する監視システム，各施設での入場者数計測，エレベータや駅，停留所でのマチ人数
計測などが挙げられる．他にも，人物と風景の写真を自動的に分類して管理するといった利
用も考えられる．
それらの人物計測は，人物領域の抽出によって行われる [1]．人物領域抽出の手法として
–1–
1.1 研究背景
従来提案されている代表的なものは，背景差分法，人物領域モデルを用いる手法，カラー情
報を用いる手法などである．背景差分法とは，空間を指定し，その中で移動した物体との差
分を取る方法である [2]．このらの手法の中で最も簡単な物体抽出法で，背景差分を用いた
手法では入力画像のほかに，あらかじめ対象物体の写っていない背景画像を既知情報として
与え，入力画像と背景画像の差分によって差分画像を生成し，得られた差分画像を閾値で切
り分けて物体領域を得ることができる．背景との差分を取ることで，空間内に新たに表れた
物体に対して認識を行うことが可能である．人物領域モデルを用いる手法では，予め用意
された人物モデルとの照合で認識を行う手法である [3][4]．用意するモデルは，人物の輪郭
形状が一般的であり，認識を行う際にその形状データを用いる．また，動きを検出するオプ
ティカルフローを用いた移動物体認識手法も人物領域モデルに含まれる．この手法では，画
像を細かいブロックに分け，各ブロックの動きベクトルの向きが類似している領域を統合し，
移動物体を検出する．動き検出だけでなく，ブロックの濃度平均や過去の輝度差分履歴など
の他のパラメータと組み合わせて利用されることが多い．カラー情報を用いる手法は，物体
のカラーから色情報を抽出し，色情報の照合により認識を行う手法である．色の指定は物体
によって異なり，人物領域の特定の際は肌色情報が主に利用される．これらの手法の中で，
本研究で提案する手法は，人物領域モデルを用いる手法及び，カラー情報を用いる手法に属
する．
–2–
1.2 研究課題
1.2
研究課題
画像からの人物検出における現状の課題は
(1) 検知性能に対する人物検出精度の信頼性
(2) 物体や人間同士の画像上での重なりに対して正確に切り分けることができない
(3) 影，照明変動，映りこみなど周囲の環境変動を誤って人と認識してしまう
などが挙げられる．画像や動画像を用いて人検知行う技術の多くは，これらの課題が解決
できていない [5]．背景差分法である単一輝度画像を用いることで人検知を行手法は，背景
差分フレーム間差分を基本をした手法により人検知を行っている．この手法は，実装が容易
で処理負荷があまり高くないという利点があるが，背景画像が固定であるためカメラの移動
や対象物体以外の物体移動や照明変化に対応することができない．そして，オプティカルフ
ロー等の動きベクトルに基づく手法で追跡を行う手法は，局所相関演算に基づいた動き検知
オペレータで動物体を検知し，動き検知処理と動きベクトルを組み合わせることで追跡を
行っている．複雑な背景でも大まかな物体検出ができるという利点があるが，領域の大きさ
によっては移動物体が検出できないことがある．また，複数のカメラを視野が被さるように
シーケンスに並べ，人の検知および追跡を実現している手法もある．これらのカメラを用い
た画像処理技術による人検知は，人の重なり隠れ，照明変化等の環境条件の変動に対してロ
バストに対応できない．このうち本研究では，(2) と (3) の課題に対してアプローチを行う．
–3–
1.3 研究目的
1.3
研究目的
本システムでは，単一画像から正面の人物の重なりを考慮した人物特定を想定する．ま
ず，人物の身体の部位の中で最も重なりの少ない箇所はどこであるかを考えた．身体特徴の
中で特徴が小さすぎれば画像内に映らない可能性もあるので，大きく部位を分けた．それ
は，
「頭部」「身体部」「手部」「足部」である．その中で最も地上から離れており，重なりの
影響を受けにくい箇所は頭部である．頭部は，身体部や手部，足部が重なっている場合も重
ならない可能性がある．また，頭部が重なっている状態で，身体部などが重なっていない状
態は考えにくい．以上のことから，研究の対象とする身体特徴を頭部とした．頭部情報を用
いた人物特定を行うには，頭部の領域抽出が必要である．そこで，モルフォロジー演算とカ
ラー情報を用いる肌色抽出に着目する [6][7]．
モルフォロジー演算は画像解析に用いられる手法の一つで，形状情報の理解に強い [8]．
その性質は，論理演算からなり，基本的には構造化要素を用いた膨張と収縮によって画像処
理を行う [9][10]．モルフォロジー演算を用いた画像処理により，画像内の物体は特徴部分を
残して削減される．この処理を用いて人物画像に適用した場合，頭部の「髪部」が抽出され
る．
「髪部」は，カメラから離れると潰れてしまう頭部の内部情報である「目」や「鼻」とは
違い，ある程度の距離であれば特徴を保持している．またこの処理により，特徴の浮き出た
他の物質との比較が行い易くなる．
そして，もう一つの手法として挙げた肌色抽出は，頭部情報の補完に用いる．
「髪部」の特
徴だけでは，他の物質と誤認識してしまう可能性がある．その点から，
「髪部」の身近な特徴
量で，且つ範囲の似た特徴量として「顔の肌色」に注目した．この特徴も頭部の内部情報と
比べ，ある程度の距離でも特徴の保持が可能である．
これら「髪部」と「顔の肌色」の二つの特徴量を一枚の画像から抽出し，抽出したそれぞ
れの座標の距離から人物の特定を行うことを考える．
本研究では，これらの手法を用いることにより，物体の重なりに配慮した人物特定を特長
としている．従来の手法で幾つか重なり回避について言及されているが，画像を用いた手法
–4–
1.4 論分の構成
では現在でも困難である．例えば，背景差分法では，空間に入った物体に対して認識を行う
ため，その物体が重なっているかどうかの判別を行うのは難しい．また，一般的な人物領域
モデルを用いる手法では，人物の重なりにより輪郭データが変更される．その結果，人物以
外として処理されるといったエラーが起こる．このように，単一画像による人物特定は，重
なった物体に対しての認識が弱い．人物と人物の重なり以外にも，人物と物体の重なりによ
る認識率の低下も考えられる．また，人物が座っている状態など，人物の形態変化も特定の
方法では認識率が低い．本研究の目的は，このような重なりによる情報の欠如などに対応し
た人物抽出を実現することである．
1.4
論分の構成
本本論分の構成は, 本章を含め全 9 章である. 第 2 章では, 処理方式や手順について述べ
る. 第 3 章では, 本研究で対象とした人物画像の撮影環境について述べる. 第 4 章では, モ
ルフォロジー演算による図形分解と構造化要素について述べる. 第 5 章では, 肌色抽出とカ
ラー分布について述べる. 第 6 章では, 特徴量の距離による人物判定の設定について述べる.
第 7 章では, 実験し得られた結果について述べる. 第 8 章では, 結果に対しての考察を述べ
る. 最後に, 第 9 章では本研究のまとめを行い, 今後の課題について言及する.
–5–
第2章
研究内容
2.1
2.1.1
処理方式
モルフォロジー演算
モルフォロジー演算を用いた処理は，図形分解処理における回転や移動に不変な性質，ノ
イズの影響を受けにくい性質，論理演算の組み合わせのみで求まる性質を持つ．膨張収縮の
組合わせにより，特徴部分を残し，他の薄い部分を削るといった点に着目した．今回，膨張
させた後に収縮処理をかける closing 処理を用いた．この処理を用いて，頭部の髪の特徴量
を抽出する．
2.1.2
肌色抽出
人体特徴の肌色部分を抽出する処理である．同じ人種の肌色は，色空間上である程度まと
まった分布をとることが分かっている．この肌色カラー分布を用いることで，静止した人物
の位置の特定や影の排除が可能である．この処理により，肌色から人物のおおよその位置座
標を特定する．この座標を特定すると供に，各抽出範囲をラべリングし，その範囲毎に最大
の Y 座標の値を取得する．
2.1.3
人物判定
モルフォロジー処理により，頭部の「髪部」を抽出する．肌色抽出により，
「顔の肌色」を
抽出する．この 2 つの特徴量を頭部情報として，人物抽出の判断材料とする．これら「髪
–6–
2.2 処理手順
部」と「顔の肌色」の二つの特徴量を一枚の画像から抽出し，抽出したそれぞれの座標の近
似値から人物の抽出を行う．肌色抽出より得られた Y 座標から垂直の輝度値が 0 の値を探
索し，最も近い座標を取得する．その位置を頭部情報が存在する座標点とした．今回, その
座標点の閾値を Y の上方 4 画素以下に設定した．
2.2
処理手順
以下に実行順に処理手順を示す.
(1) モルフォロジー演算
モルフォロジー演算の組み合わせで実現する Closing 処理を行い, 特徴部分を抽出する.
(2)2 値化
モルフォロジー処理した画像に 2 値化を行い, 一定の濃度値以上の特徴量を残す処理を
する.
(3) 肌色抽出
画像から肌色領域を抽出し，各抽出された領域のラベリングを行う.
(4) 座標取得
各ラベリングした領域の最も高い Y 座標の値を持つ座標位置を取得する．
(5) 濃度値探索
各座標の垂直座標上の濃度値 255 を探索し，その座標を取得する．
(6) 閾値設定
それぞれの値を検証し，認識に必要な座標差の値を決定する．
–7–
第3章
人物画像取得
3.1
3.1.1
人物環境データ取得
撮影機材
人物画像データ撮影にあたり, 撮影に必要なカメラシステムの構築を行った. 今回の実験
では, デジタルビデオカメラを三脚に固定して撮影した. 実験に用いた撮影機材は表 3.1 の
3 点である. 撮影に使用した各機材の使用を表に示す.
表 3.1
撮影機材一覧
機材
説明
デジタルビデオカメラ
Victor 製 GZ-MG77
三脚
カメラの固定に使用
気泡管型水準器
三脚雲台の水平調整に使用
図 3.1 カメラ本体写真
–8–
3.1 人物環境データ取得
表 3.2 デジタルビデオカメラ仕様
型名
Victor 製 GZ-MG77
撮像素子
1/3. 9 型 218 万画素 CCD
動画時 123 万画素
撮像エリア
静止画時 200 万画素
F1. 2∼2. 0
レンズ
f = 3.8∼38mm(35mm 換算 35.8∼457mm)
映像：MPEG-2
記録方式
音声：Dolby Digital
信号方式
NTSC 日米標準信号方式
記録メディア
内臓 HDD, SD メモリーカード
表 3.3
気泡管型水準器仕様
感度
1mm/m=0. 0527 °
精度
± 5. 25mm/m=± 0. 2999 °以内
なお, 今回使用した機材は, いずれも特に高精度な部類のものではなく, 量販店でも比較的
安価に入手可能な民生用のものを使用している.
–9–
3.1 人物環境データ取得
3.1.2
撮影環境
撮影には講義室の一角を利用した. 光源は, 研究室内の自然光 (蛍光灯) と, スタジオ左側
にある窓からブラインドを下ろした状態での太陽光がある. しかし, 撮影時間は一定ではな
いため, 太陽光の強さは一定である保障はない. カメラの正面に講義机・椅子などを配置し,
被験者を座らせた状態で人物像データの撮影を行った.
撮影環境の状態は図のようになる.
カメラの光軸は, カメラが室内の人物を正面に捕らえるように配置する. カメラの高さは,
部屋全体を写すように合わし，三脚のエレベータ機能を利用して調整するため, 特に指定し
ない.
図 3.2
撮影環境
– 10 –
3.2 撮影する人物画像
3.1.3
環境設定
カメラを三脚に取り付ける際に, 水準器を用いてカメラが水平になるように雲台を調整す
る. 調整を行ったら, 雲台を固定する.
カメラの液晶モニターに背景を映し出し, 目標物をモニターの中央に捕らえるようにカメ
ラの調整する. 目標物との高さが合わない場合は, 三脚のエレベータ機能を使用して高さを
合わせるようにする.
3.2
撮影する人物画像
本研究で用いる人物画像は, 正面画像から撮影した座った状態の人物複数名とした. また,
座った状態の視線の向きなどに関しては被験者の自由とした.
3.3
撮影方法
被験者は男性女性問わず，座った状態の撮影を行った. 人物を撮影する際に, 撮影風景は
図 3.3 で示した状態を基本風景とした.
また, 違った向きや人物の重なりの状態を考慮し, いくつか違った条件の撮影を行った.
図 3.3
撮影風景
– 11 –
第4章
モルフォロジー演算
4.1
モルフォロジー演算とは
モルフォロジー変換をかける際に必要な計算式である. 計算は集合演算として定義され,
集合の持つ要素で計算されている. 計算の際に, 構造化要素というものが存在し, それを掛け
合わせる事で処理が成り立つ. 処理対象画像に, 2 値画像と多値 (濃淡) 画像がある. 多値画
像は基本的に 2 値画像の処理と同じで, 要素が持つ値が変化するものである. ここでは, 要素
の値が 0 か 1 の 2 値画像で説明を行うものとする.
4.2
モルフォロジー演算処理
画像処理の分野では, 線形フィルタが多用され, 平滑化やエッジ抽出する際に用いられる.
しかし, 線形フィルタには問題点があり, 平滑化を行うと, 特徴部分がぼやけてしまう. それ
に対し, モルフォロジー演算を行ったモルフォロジカル・フィルタは, 非線形フィルタである.
非線形フィルタでありながら, 線形フィルタと同様に簡単なアルゴリズムである. opening
や closing といった代表的なモルフォロジカル・フィルタが存在する. これはエッジを保存
しながら平滑化を行うことができる. こういった一見高度にみえる画像処理を簡単に構築で
きる利点を持っており, 従来の画像処理手法をモルフォロジカル・フィルタに置き換えるこ
とは, 有意義であると言える.
– 12 –
4.3 構造化要素とは
4.3
構造化要素とは
構造化要素とは, 画像を変化させる際の要素であり, 要素の形成している形により, 画像に
与える影響が異なる. 構造化要素の形は指定でき, 用途によって適している形に変更しなけ
ればならない. 構造化要素の最も基本的な形は disk である. これは, 円盤型をさし, 構造化
要素の形も円形をとっている. 本研究でもこの disk 型を使用して処理を行っている. 他の基
本的な形として, octagon がある. これは八角形のことであり, 基本的な構造化要素の中では
一番多い要素を持つ. 他には square があり, これは正方形の構造化要素である. もう一つ基
本的な構造化要素に rhombus がある. これはひし形をしており, disk に似た処理を持つ. こ
こでは, この基本的な 4 つの構造化要素を紹介する.
図 4.1 構造化要素種類
– 13 –
4.4 dilation
4.4
dilation
モルフォロジー変換の基本処理の一つで, 膨張の処理を行うものである. 膨張処理は, ず
らし重ねとも言われ， 画像の小さな穴等がふさがれ, 分離していたものが融合することもあ
る. 原画像 A に構造化要素を掛け足する事で実現するモルフォロジー変換である.
図 4.2 dilation 図
A ⊕ B = {c = a + b, a ∈ A, b ∈ B} = ∪b∈B (A + b) = ∪a∈A (B + a) (4.1)
c は結果 C の構成要素を表している. c の要素は原画像 A と構造化要素 B の要素を足し
たものであり, a は原画像 A, b は構造化要素 B の要素である. 構成要素 B の原点が太枠で
囲われている丸であり, その原点が原画像 A の要素を参照していく. 参照した際に, 原点以
外の部分が何もない空間にあればそこに要素を加える. 参照した原点以外の部分に, すでに
要素があれば, そこは何もせずに次を参照する. そして全ての A の要素を参照し終わった画
像が, 結果 C である. 結果 C は, B の原点が原画像 A の全ての点上を動き回った時の B の
軌跡といえる.
– 14 –
4.5 erosion
4.5
erosion
もう一つの基本処理で, 収縮の処理を行う. 収縮処理は, 掻き取りと呼ばれ, 画像狭い地峡
は分離し, 細い部分は削られ, 内部の穴は拡大する. この処理は, 原画像 A から構造化要素 B
を引くことで, モルフォロジー変換処理を行うものである.
図 4.3 erosion 図
A ⊖ B = {∨b ∈ B, c + b ∈ A} = ∪b∈B (A − b)
(4.2)
c は結果 C の構成要素を表している. 結果 c の要素と構造化要素 B の要素は原画像 A に
含まれている. 太枠で囲まれた構造化要素 B の原点を原画像 A の要素に参照させる. 原点
B が A の要素を参照した際に, 原点以外の要素が A の要素と重なっていれば, B の原点を残
す. 逆に, 原点 B が A の要素を参照したときに, 原点以外の要素が一つでも重ならない空間
があれば, 何も残さない. これは, すべての B の要素が, 原画像 A の要素のなかをはみ出さ
ずに動き回った時の B の原点の軌跡が結果 C である.
– 15 –
4.6 opening
4.6
opening
opening 処理とは, 膨張処理と収縮処理の組み合わせであり, 対象画像を収縮させた後に
膨張処理を行うものである. 円の構造化要素を用いると, 凸のとがった部分を丸くし, 細い形
状や小さい島形状をとり去る働きを持つ.
図 4.4 opening 図
A ◦ B = (A ⊖ B) ⊕ B
(4.3)
まず収縮処理により途中 C に, そして膨張処理で結果 D になる. 原画像 A の要素を構造
化要素 B の要素が参照する. 参照した原点 B 以外の要素が A と重なっていれば, B の要素
全体の形を残す. 参照した際に, 一つでも重なっていない空間があれば, 何も要素を残さな
い. これは, 原画像 A の要素全体を構造化要素 B の要素が, はみ出さずに動き回った B 全体
の軌跡である.
– 16 –
4.7 closing
4.7
closing
closing 処理も opening 処理と同じく組み合わせ処理であり, 対象画像を膨張させた後に
収縮処理を行うものである. 例えば, 円の構造要素を用いることで, 鋭い凹みを丸くし, 細い
割れ目, 細長い湾形状, 小さい穴などを埋める働きを持つ. ここで行われている処理が, 今回
研究に使われている処理である.
図 4.5 opening 図
A • B = (A ⊕ B) ⊖ B
(4.4)
膨張処理を行い途中 C となり, 収縮処理を行って結果 D になる. 構造化要素 B の要素の
原点が, 原画像 A を参照する. 参照した要素が一つでも重ならなければ移動した原点だけを
残す. 参照した先が要素が 3 つ以上で囲まれている場合に限り, 原点以外の要素を残す. こ
の処理は, A の背景に含まれるように, 構造化要素 B の形が動き回ったときの B 全体の軌跡
の補集合である.
– 17 –
4.8 多値画像への演算例
4.8
多値画像への演算例
図 4.6 2 値画像の場合
上の図は演算を 2 値で表す場合の計算例である．構造化要素の中心を探索域とした時，構
造化要素の中（今回は左右）で参照した値の中に値を持つものがあると，処理結果後に探索
域の値が書き換えられる．探索域が値を持つ場合はそのままである．
図 4.7 多値画像の場合
上の図は多値 (グレースケール) で表す場合の計算例である．構造化要素の中心を探索域
とした時，構造化要素の中（今回は左右）で参照した値の中で比較を行い，処理結果後に探
索域の値が最大値に書き換えられる．探索域が値が最大の場合はそのままである．
– 18 –
4.9 適用画像例
4.9
適用画像例
モルフォロジー演算での Opening 処理と Closing 処理を以下に示す.
図 4.8
種類別変換図
– 19 –
4.10 closing 性質
4.10
closing 性質
Closing 処理の性質として，細かく小さい部分を取り除く働きがある．これは，小さな特
徴や薄い特徴を取り除く働きで，服装や，小物などの不要なものを取り除く処理になってい
る．次にごま塩ノイズの除去があるが，画像のノイズを取り去り，無駄な処理をしないため
の前処理に用いる．そして，構造化要素よりも小さな穴を取り除く処理であるが，これは，
一定の大きさの構造化要素を用いて，小さな要素を取り除くために用いる．最後にオブジェ
クトの小さな要素を取り除く処理であるが，これは，平滑化し，形を整えるために用いる．
図 4.9
Closing 処理例
– 20 –
4.11 モルフォロジー演算処理例
4.11
モルフォロジー演算処理例
モルフォロジー演算処理として，2 値化をかけたものを図として表示する．これは，モル
フォロジー処理をかけたがぞうとそうでないものである．モルフォロジー処理をかけずに 2
値化したものは，余計な情報が多く，人物識別の際に影響が出てしまう．可能な限り画像上
から髪型以外の特徴を削減し，人物の誤認識の確立を低くしなければならない．モルフォロ
ジーには，そういった余計な情報を取り除く作用がある．
図 4.10 モルフォロジー演算結果
– 21 –
第5章
肌色抽出
5.1
肌色抽出とは
肌色検出とはデジタルカメラで撮影した写真などの画像情報から、人の肌部分を検出する
ことである．撮影した画像中の肌色の部分を見つけ出す処理である．人にとっては簡単な作
業であるが，これを自動的に行なうには条件を定義する必要がある．まず、肌色とは何かを
明確に定義する必要がある．同じ肌色でも，明確には一つ一つ異なっている．また，同じ人
でも顔，手，足など場所によっても違いが出てくる．さらにカメラで撮影するときの撮影条
件にも影響を受ける．厳密に多くの人の肌色を検出する定義付けには，細かく設定を設け尚
且つ値の幅を持たせる必要がある．その肌色抽出にはいくつもの異なった手法が存在してい
る．例えば，背景の処理をできるだけ単純なものとするために，ブルーバックなどを利用し，
肌色領域を特定し易くしてから抽出するものがある．一方，肌色領域の抽出が容易になるよ
う，肌色領域が存在しない背景だけの画像をあらかじめ作成しておき，元の画像と背景のみ
の画像との差分を求め，その差分を利用して抽出する手法などが存在する．また，動画像に
おいては，ある程度まで肌色に近い色の領域を求め，一定時間動かない部分を背景と考え，
肌色領域を抽出するものなど様々である．しかし，こういった手法は，背景がブルーバック
などの単純な色であることや，あらかじめ作成した背景画像が必要であるとか，動画像であ
るといった制約を伴う．本研究では，講義風景に適用するため，制約の少ない抽出法として，
色空間に着目した肌色抽出を行う．
– 22 –
5.2 色空間とは
5.2
色空間とは
色空間とは，色を空間中の一点として表現し，座標で指示できる形式をとるものを指す．
色を定量的に表す際に用いられ，幾つかの規約を設けることで色空間を表現できる．色空間
はカラーベースとも呼ばれ，34 種類の数値の組み合わせで表されることが多い．一般的な
色空間として用いられるのが RGB である．RGB は赤緑青の頭文字であり，光の三原色と
して知られている．各数値を増やすごとに白に近づき，数値を減らすごとに黒に近づく．そ
の他には，CMY や HSV 空間による表現法などがある．CMY は減法混色表現法の一つで，
絵の具の三原色とされている．基本色は白色で，それにシアンマゼンダイエローの色を加え
ていくことで黒に近づける表現法である．そして，HSV はコンピュータで色を指定する際
などに使われる．この HSV 空間による表現法では色を色相彩度明度という観点で捉え，そ
の組み合わせにより細かな色の指定が可能である．本研究では，この HSV 空間による色の
表現法を用いる．
– 23 –
5.3 処理内容
5.3
5.3.1
処理内容
色空間の設定
HSV 空間の色表現法を用いて肌色を抽出する．その際，人体の肌の色に最も近い色を指
定してやる必要がある．色を HSV 空間に指定するには RGB の輝度値情報を変換しなけれ
ばならない．RGB の輝度値の範囲は 0∼255 となっているので，その値を 0∼1.0 に変換す
る．以下の図は RGB を色相空間に変換する際の定義図である．
図 5.1 色相変換図
図のように 0 度の方向に R，120 度の方向に G，240 度の方向に B だけ進み，最後の点の
位置の R 軸に対する角度が色相となるように変換する．RGB の成分のうち，最大の成分を
Imax，最小の成分を Imin とおいた時，
Imax が R のとき
– 24 –
5.3 処理内容
H = 60 ×
G−B
Imax − Imin
(5.1)
ただし，H < 0 の時，H = H + 360 とする．
Imax が G のとき
H = 60 ×
B−R
+ 120
Imax − Imin
(5.2)
H = 60 ×
R−G
+ 240
Imax − Imin
(5.3)
Imax が B のとき
となり，この計算によって色相が求まる．
次に彩度であるが，彩度は RGB 成分のうち，最大の成分を Imax，最小の成分を Imin と
すると，
S=
Imax − Imin
Imax
(5.4)
といった計算式で求まる．この際，彩度 S の範囲は 0∼1.0 となる．
そして，最後に明度の求め方は，もともとの HSV の定義により，RGB の成分のうち最
大の成分を Imax とすると，
V = Imax
(5.5)
となる．このとき明度 V の範囲は，0∼1.0 をとる．
この HSV 色空間へ変換することで，RGB で色空間のみの指定しかできなかったものが，
明度と彩度での指定も可能になり，色の指定を細かく設定することが可能になる．この HSV
空間の色相および彩度を用いると，画像の明るさが変動しても似た色の領域を抽出すること
が可能となる．しかし，彩度の値が小さい場合は色相の値が不安定になる．
– 25 –
5.3 処理内容
今回，肌色抽出を行う際の色の指定は，色相を 0∼10，彩度を 80∼255，明度を 0∼255
に指定している．プログラムで彩度および明度を指定する際は最大の範囲を 255 としてい
る．この処理を行い，出力したのが以下の結果になる．
図 5.2
肌色抽出結果
この処理結果は，元画像から抽出した肌色領域をマスクパターンとして保持し，背景が輝
度値 0 の黒の画像に貼り付けたものである．この画像例で用いた画像では，人物の肌色領域
以外には肌色情報が少なく，主に人物領域の肌色が抽出されている結果となっている．
– 26 –
5.3 処理内容
5.3.2
肌色領域のラベリング
肌色抽出で抽出した領域に対してラベリングを行う．抽出した肌色領域には，それぞれ同
じ肌色領域内で一つの形として認識させる処理を行う．その処理を行った後，各領域の形に
それぞれ番号を割り振っていく．このラベリング処理により画像内から得られた肌色形状の
個数が，人物識別の際に用いられる比較対象個数となる．以下に番号を割り振り，ラベリン
グ処理を施して得られる処理例のイメージ図を記載する．
図 5.3
ラベリング図
この図では，人の顔部分の肌色抽出が五つラベリングされているといったイメージ図であ
る．ここでは，人の顔といった成功パターンのイメージ図を載せているが，人の顔以外に人
の手や，服の肌色，また机といった家具類にも肌色が含まれていれば反応する可能性がある．
– 27 –
5.3 処理内容
5.3.3
ラベリング空間の座標取得
ラベリングされた肌色領域の中で，領域の y 座標が最大値となる値をとる．その座標を座
標点と定義する．ここでは，画像内の各ラベリングされた肌色領域すべてに対して座標取得
を行う．この座標点を用いて人物判定の際の人物識別を行う特徴量とする．以下の図は，肌
色領域の座標点の取得イメージ図である．
図 5.4 座標点取得
図のいずれかの点を (xi , yi ) とした時，その領域内のｙ座標の max を取る場所を探索す
る．以下にその式を記述する．
Ymax = maxi (yi )
– 28 –
(5.6)
第6章
人物判定
6.1
人物判定とは
人物判定とは，前述の特徴量を用いて，人物判定を行う際の基準を定めるものである．今
回，モルフォロジー演算によって得られた髪型に着目した処理画像と，肌色抽出によって得
られた座標点を用いて人物判定を行う．ここでは，人物と物体を分ける際の値を決めなけれ
ばならない．本研究で着目した点は，人物の髪型と人の肌色の間の距離である．この距離が
短いほど人であると定義し，この距離が長ければ長いほど人物でないと定義する．その際，
肌色抽出の座標点から見てどの場所を距離対象として見なければならないのか，また識別の
際の距離の閾値について後述する．以下に 2 つの特徴量を用いた際の画像を載せる．
図 6.1 特徴量画像
– 29 –
6.2 座標の取得
6.2
座標の取得
座標の取得について説明する．座標の取得には，肌色抽出で取得した座標点からｙ軸垂直
上の濃度値を持つ値を探索する．そうすることにより，モルフォロジー処理画像内から座標
点から最も近い距離の座標を取得することができる．以下にその手法を用いた際のイメージ
図を記載する．
図 6.2 座標探索法
この座標取得法以外にも，肌色物体と同じく髪型形状物体で座標点を取る手法が考えられ
た．しかし，対象が女性の場合，髪型情報との距離が男性と比べ長く離れてしまう．なぜな
ら，肌色座標点では肌色領域の y 軸の max を取るのに対し，髪型情報では，髪型領域内の
y 軸の min を取らなければならない．その場合，女性では図のように座標点が取れない場合
が多い．そこで，本研究では図のように，ｙ軸垂直座標上の距離によって人物判別の値を検
証する．
– 30 –
6.3 閾値の設定
6.3
閾値の設定
閾値の設定では，実験画像とは別の三枚の異なる人物画像から閾値の設定を行った．この
閾値の設定で着目したのは，人物領域で取得された距離と，人物領域以外で取得された距離
である．人物領域で取得された結果では値がある程度収束し，人物領域以外で取得された結
果では，値にばらつきがあった．以下にそれぞれの取得された値の一例を挙げる．
図 6.3
人領域の場合
人領域で検出された値の場合，値が極度に離れているものは無く，人領域で人と判別でき
る一定の値を設定することは可能であるといえる．無論設定段階でも人領域に人として認定
されない値を持つものもあったが，閾値設定の段階では除外するものとする．
– 31 –
6.3 閾値の設定
図 6.4
人領域以外の場合
人領域以外の場合，値にバラつきが確認された．中には人領域ほどに距離の短いものもい
くつか確認されたが，その値に可能な限り近づかない範囲で閾値を設定した．この閾値決定
の際に意識したのは，人物領域の最大値と，人物領域以外の最小値である，この 2 値の兼ね
合いから今回実験で用いた閾値は 4 とした．
– 32 –
第7章
実験
7.1
実験環境
目視で 10 人以上人物が存在する画像を研究の対象とし，講義風景 20 枚の画像を用意し
た．対象は主に座った状態で，正面を向いている人物画像を用いる．色情報を用いるので，
照明の変動が起こらない環境下で撮影を行なった．画像サイズは肌色領域を確保するため，
640 × 480 画素の画像を用いた．講義室は 2 パターン用意し，それぞれ重なりを考慮した撮
影を行なった．
図 7.1 講義風景その 1
– 33 –
7.1 実験環境
講義風景 1 の画像パターンでは，背景や机などに肌色情報が含まれていない環境で撮影
を行った．服装を除いて基本的に肌色情報を持っているのは人物の顔部分の肌色情報のみと
いう環境下で撮影を行い，物体と人との重なり，人と人との重なりを意識した画像を取得し
た．参考画像では，椅子に座っている前後の人物で体が重なっている状態が基本のパターン
となっており，前後の人物間で顔の一部が隠れているという画像となっている．
図 7.2 講義風景その 2
講義風景 2 の画像パターンでは，講義室の机に肌色情報が含まれており，人物の肌色領域
以外に多くの肌色情報が抽出されるといった環境下で撮影を行った．この撮影で用いた条件
では，パターン 1 と同様に基本的に人物が座っている画像とし，体の重なり，前後での顔の
重なりを考慮した撮影を行った．また，直立状態の人物もパターン 2 では識別対象に含むこ
ととし，パターン 1 の画像と比べ，結果に変化があるかどうかを検証する．
– 34 –
7.2 実験内容
7.2
実験内容
提案手法より用いた特徴量の距離を用いて実験を行う．閾値として設定した数値以下であ
れば，認識した物体を人物領域とし，閾値より値が上であれば，人物領域以外とする．この
時，それぞれ人物領域として検出された領域を目視で確認する．確認された箇所が想定され
た人物領域であれば，人物認識率として正当に人数が計測されたデータとし，目視で計測し
た人数との比較に用いる．また，確認された箇所が人物領域で無い場合は，誤認識数として
いくつ計測されたかを対象画像ごとに算出する．その 2 つのデータを実験データとして扱
い，その結果より本研究の手法の有効性を検証する．
7.3
実験結果
実験より以下の結果が得られた．図の実験結果その 1 は，画像風景パターン 1 の実験結果
である．図の実験結果その 2 は，画像風景パターン 2 の実験結果である．実験結果より 2 つ
のグラフデータが得られた．一つ目のグラフデータであるが，これは各対象画像の認識率を
表したものである．横軸は処理を適用した各画像であり，五枚の画像パターンをランダムで
選択した．縦軸は人物の認識率であり，目視で確認した人数と，検出した正当な人物箇所数
とで比較を行い，そのパーセントを表示した．二つ目のグラフデータは，各画像の検出され
た誤認識数である．横軸は処理を適用した各画像であり，それぞれ一つ目のグラフデータ画
像と番号が対応している．縦軸は，検出された人物領域の誤認識数である．
– 35 –
7.3 実験結果
図 7.3 実験結果その 1
実験結果その 1 より，認識率は最低値が 70 ％，最高値が 100 ％となった．グラフの平均
認識率は 82 ％となっており，目視で確認された最少の人物数は 10 人で，最大の人物数は
17 人であった．その中で，最少の誤認識数は四つ目の画像データの 0 人で，最大の誤認識
数は二つ目のデータの 2 人となった．
– 36 –
7.4 閾値検証
図 7.4 実験結果その 2
実験結果その 2 より，認識率は最低値が 70 ％，最高値が 92 ％となった．グラフの平均認
識率は 84 ％となっており，目視で確認された最少の人物数は 10 人で，最大の人物数は 13
人であった．その中で，最少の誤認識数は五つ目の画像データの 3 人で，最大の誤認識数は
四つ目のデータの 5 人となった．
7.4
閾値検証
閾値の検証として，今回閾値を 4 として実験を行った．閾値 4 としての結果が前述のグラ
フデータである．閾値を 4 より下に設定すると，誤認識数が減少するが，それに伴い認識率
も減少する結果となった．また，閾値を 5 以上に設定すると，誤認識数が増大し，認識率も
多少向上するが，大幅には認識率の向上が見られなかった．
– 37 –
第8章
考察
8.1
成功したポイント
実験結果より，本手法を用いることは，人物の重なりにおける識別手段として有効である
ことが分かった．提案した手法では，モルフォロジー演算により髪型情報を抽出し，肌色抽
出により顔の肌色部を抽出することで，二つの特徴量の距離を人物判別の値として用いた．
今回用いた画像では，基本的に人物は椅子に座った状態で判別を行っているので，人物は物
体と重なっている状態で認識を行わなければならなかった．本手法では，頭部の情報を人物
特徴として用いるので，人物の身体部分の重なりに有効であった．身体部分が隠れていて
も，頭部情報があれば人として判別することが可能である．これにより，人物が物体を運ん
でいる画像でも人物としてカウントすることができ，頭部情報があれば人物が姿勢を変えた
状態でも人物としてカウントすることが可能である．また，頭部情報の 2 つの特徴量を用い
ることにより，頭部同士の重なりにも対応した識別であるといえる．それは，物体の領域内
の座標点で識別を行うので，肌色領域がある程度隠れていても識別が可能であった．隠れた
部分が座標点を覆い隠すほどの重なりでない限り，前後の人物の判別は可能であると考えら
れる．他にも，既存研究で言及されていた写りこみや，人物の影による誤認識に対しても本
手法は有効であるといえる．本手法では，肌色抽出を用いるため，写りこみによる色変化に
より肌色として識別されない．また，影は肌色情報を持たないので，人物として識別されな
いといった誤認識に対してもアプローチが可能である．以下の図は人物の顔領域重なりによ
る人物抽出の成功例である．
– 38 –
8.2 失敗したポイント
図 8.1 抽出成功例
8.2
失敗したポイント
実験結果より，人物領域以外の肌色情報の検出により，誤認識が多くなることがわかった．
これは，座標点との距離の値によって人物を識別しているので，肌色領域上の閾値内に濃度
領域が存在する場合，その点を人物として判別してしまう．今回の場合，パターン 2 の講義
風景の画像内に多数肌色領域が抽出された．その検出数はパターン 1 と比べ膨大で，閾値
内に濃度値を持つ距離が多く検出されたのだと考えられる．また，それ以外にもモルフォロ
ジー演算により，髪型領域を抽出する際，人物の濃度値の高い深い色合いの服装が濃度値領
域として画像内に残ってしまったのも誤認識の一因だと考えられる．他にも，本システムで
約 8 割以上の認識率を出しているが，残りの割合として検出できなかった人物領域が存在す
る．それは，肌色抽出により，肌色領域を抽出する際に，人物同士の肌色領域が結合してし
まう状態である．この場合，人物が 2 人検出されると成功のパターンが一人しか検出され
ないといった状態となる．人物の数が多くなり，密接した状態で検出を行うと，認識率が下
がるのではないかと考えられる．また，モルフォロジー処理により，人物が画像上で小さく
検出された場合，髪型情報が検出されない場合が存在する．検出されない人物は多くは無い
が，髪型情報として大きな領域を持たない場合，また髪の濃度が薄い場合などに検出ができ
ていなかったと考えられる．
– 39 –
8.2 失敗したポイント
図 8.2 抽出失敗例
– 40 –
第9章
まとめ
9.1
結果検証
本手法を用いることで，正面人物画像から約八割以上の認識率で人物を抽出可能であった．
この数値は，人物領域座標から得られた正当な抽出人数に対する割合である．今回，の研究
では，人物や物体の重なりに対してアプローチを行った．頭部を特徴とすることで，座った
状態である人物の姿勢の変化に対応することが可能であった．人物の座った状態で，人物同
士の体の重なりにも影響を受けずに人物を抽出することができていた．また，今回人物の頭
部特徴で，
「髪型」と「顔の肌」の 2 つの特徴を重ね合わせることで，人物抽出を行った．そ
の手法により頭部の重なりに対してもある条件下で重なりの受けずに認識を行うことができ
ていた．その条件とは，
「髪型」部が他の物体と重なっていない状態，
「顔の肌」部が他の肌色
領域と重なっていない場合に人物の抽出が可能である．その他にも，影や移りこみなど，人
物に似た形状のものを人物として認識してしまう問題点が存在するが，肌色を特徴とするこ
とでその問題へのアプローチができているといえる．
9.2
9.2.1
今後の展開
誤認識の削減
誤認識に対する改善策として，まず肌色抽出の見直しが考えられる．今回，人物の肌色領
域に対して，データの積み重ねが行われていなかった．そこで，物体の肌色領域の抽出数を
減らし，人物領域の肌色のみを抽出する値をデータの積み重ねによって検証を行う必要が
– 41 –
9.2 今後の展開
ある．
その他に，閾値の見直しが必要である．今回，閾値の決定には人物画像三枚を用いた．こ
の枚数でもある程度値は収束したが，精度や誤認識の面から更にデータの積み重ねによる閾
値の検証が必要であると考えられる．
また，今回人物の特定に用いたのは，座標間の距離であった．そのため，情報量が少なく，
肌色領域の多い画像では誤認識が多く検出されたと考えられる．その点から，距離だけでは
なく，他の情報も付加し，情報量を多くする必要がある．例えば，肌色の特徴点から「髪型」
部の濃度領域を探索する際，ある一定以上の範囲を持った濃度領域のみを探索するといった
手法を用いる．これにより，
「髪型」部の最少範囲以上を参照するといった探索手法となり，
人物領域以外の誤認識を削減することが可能であると考えられる．
9.2.2
認識精度の向上
認識精度の向上として，モルフォロジー演算の他の性質を用いる手法が考えられる．今
回，モルフォロジー演算として利用した点は，単純な論理演算で求まり，膨張と収縮の組み
合わせより成り立つ Closing 処理である．この処理を用いて，必要な部分を特徴として膨張
し，それ以外を収縮作用で削減させるといった利用法を用いた．しかし，モルフォロジーに
は非線形性の処理で，物体の形状を理解する手法が存在する．それは，パターンスペクトル
と呼ばれるモルフォロジー演算処理結果の組み合わせにより表現される．パターンスペクト
ルとは，構造化要素により形成される物体特徴の組み合わせである．同じ画像に対し，構造
化要素の大きさを変えて処理をかけることで，同じ画像でも少し違った処理結果が返ってく
る．この処理結果を組み合わせると，同じ形状を持つ物体は似た形状のパターンスペクトル
が検出される．例えば，正面を向いた人物同士のパターンスペクトルを検出すれば，似たパ
ターンの値が返ってくると考えられる．その手法を用いることにより，一定の方向を向いた
人物を検出できると考えられる．これにより，一定の方向を向いている人物をこの手法で抽
出し，重なっている人物に対しては今回の手法を用いることで，より精度の高い認識が期待
できる．
– 42 –
謝辞
本研究を行うにあたり，主査である岡田守教授には，親切で丁寧な指導を賜り，最後まで
面倒を見ていただき本当にありがとうございました．岡田守教授には，学部四年からの途中
配属の一年と修士課程の二年の約三年間大変お世話になりました．学部四年の頃，突然岡田
守教授の許を訪れた私の相談を親身に聞いて下さり，私を岡田研究室へ受け入れて下さった
時から，岡田守教授の人柄の良さ，また懐の広さに触れられてきたように思います．私には
至らない点が多くあり，岡田守教授には大変ご迷惑をおかけしたと思います．自分でもそこ
に気付いておりながら，なかなか変わらない自分に思い悩んでおりました．岡田守教授はそ
んな私を，時に厳しく，そして時に優しく指導していただき，なにかと気にかけて下さって
おりました．配属された当初は，あまり自分で動き行動するといったことをせず，岡田守教
授に心配ばかりかけていたように思います．しかし，岡田守教授との輪講の日々や学会の参
加，そして学校の行事やイベントを通して，少しずつですが自分が成長し，変わっているの
を実感しました．もちろん岡田守教授の指導のおかげでもありますが，それだけではありま
せん．岡田守教授に勉強や専門知識を教えていただいている中で，人として大切なことを岡
田守教授から感じ取れたように思いました．それは，岡田守教授の人柄や性格，そして考え
方など，社会に出た時に人として何が大事なのかを行動をもって教えていただけた気がしま
す．岡田守教授は口数は多くありませんが，一本気があり情に熱く，そしていつでも私達学
生のことを見守って下さっていたのが伝わっておりました．御自身の時間を削って私の勉強
や研究に目を通していただいたり，就職活動の際などもなにかと相談に乗っていただきまし
た．また，どんな小さなことであっても必ず感謝の言葉を述べてくださり，私のことを労っ
て下さりました．岡田守教授のそんな所をいつも尊敬しており，いつしか私自身岡田守教授
のように振舞えないかと考えるようになりました．学部から修士になり，修士の発表会が
あった今日まで，その考えをもって日々生活してきました．岡田守教授にしてみれば，私が
学部当時とそう変わってないように映っているかもしれません．しかし，今の私が居るのは
– 43 –
謝辞
紛れも無く岡田守教授のご助力があったおかげだと感じております．そう感じられることこ
そ自身が成長した一つの証だとして，これからも岡田守教授を目標として日々精進したいと
思います．三年間という長いようで短い期間でしたが，岡田守教授の許岡田研究室の一員と
して充実した日々を過ごすことができ，幸せでした．岡田守教授には感謝の言葉しか見つか
りません．三年間本当にお世話になりました．
また，副査として修士論文発表会での質問および研究に対して貴重なコメントをいただき
ました，篠森敬三教授，吉田真一講師に深く感謝致します．篠森敬三教授には，忙しい中合
間を使って研究にアドバイスをいただくことができました．そのおかげで，研究の発展や修
士論文発表会での資料作成に役立てることができ，大変助かりました．吉田真一講師は，研
究や修士論文発表会以外でもなにかと声をかけていただきました．いつも明るく声をかけて
いただき，研究中も吉田真一講師のおかげでモチベーションを高めることができました．お
二方に感謝しております．本当にありがとうございました．他にも，TA で福本昌弘教授，
高田喜朗准教授，福冨英次助手には本当にお世話になりました．福本昌弘教授には，相談に
乗っていただいたこともあり，お会いする度にいつも声をかけて下さっておりました．高田
喜朗教授には，TA の時期が修士論文発表期間と重なっておりましたが，気にかけてくださ
り，大変助かりました．福冨英次助手は，なにかと世話を焼いていただき，時には研究内容
などの相談に乗っていただきました．お三方にも大変助けられたと感じています．本当にあ
りがとうございました．
そして，研究室の後輩である四年生の柿内優佑氏，清水滋仁氏，松下誠司氏，三本文音氏
には同じ次期卒業生としてお世話になりました．柿内優佑氏は，四年生なのですが私と同年
齢ということもあり，研究室で修士一人であった私の心の支えになってくれていたように思
います．柿内優佑氏は敵を作らない性格を持っており，その人柄から誰からも好かれており
ました．私自身も学部時代から柿内優佑氏にお世話になり，岡田研究室に柿内優佑氏の配属
が決まったことを喜んでおりました．清水滋仁氏は，岡田研究室の四年生の中でマスコット
キャラ的存在で，いつも研究室の雰囲気を和ませてくれておりました．松下誠司氏は，四年
生の中で要領が良くムードメーカー的な存在で，いつもみんなを笑わせてくれていました．
– 44 –
謝辞
三本文音氏は，良く気がつき周囲に気をくばることができるので，岡田研究室の縁の下の力
持ちであったと思います．また研究室の後輩の三年生である枝重歩氏，岡村憲樹氏，香川晃
輝氏，清水直人氏，田中里枝氏，山崎勇也氏，吉本貴幸氏にもお世話になりました．本当に
ありがとうございました．他にも，他研究室の修士である上村祐加氏，刈田光一郎氏，北村
直也氏，佐藤功二氏，重松史哉氏，野島実洋氏，橋詰翔健氏，林祐矢氏，松本直樹氏，森木
峻氏にお世話になりました．本当にありがとうございました．
最後になりましたが，両親には本当にお世話になり，感謝しても感謝し足りません．学部
時代から修士までの合計六年間大学に通わせていただきました．今でこそその大変さがどれ
ほどのものかが身に染みます．また，六年間を通していつも身を気遣っていただき，良く電
話をしていただいておりました．私は，大学に来るまで実家を離れたことがありませんでし
た．それまでは両親に甘えていた部分が大きく，親の優しさを当然のように受け取っていた
と思います．しかし，実際実家を離れて暮らして六年経ち，どれだけ自分が親に甘えていた
かが分かりました．今でも親に甘えている部分がありますが，それがどれだけ恵まれている
ことかを感じるようになりました．父は基本的に放任主義ですが，就職活動中など私が思い
悩んでいるときに必ず力になってくれました．母は，いつも私の心配をしてくださり，健康
面や生活面で支えてくれておりました．そんな両親の許で生まれ，育てて貰うことができ，
私は幸せ者だと思います．これから社会人になって自立し，親に甘えることなく社会で生き
ていかなければなりません．そこで，また一つ社会で生きていくことの大変さ，そしてど
れだけ親に支えられてきたかを知ることになると思います．社会で学び生きていく中で，今
まで両親から受け取っていた感謝を今度は私が少しずつでも両親に返せたらと思っておりま
す．もちろん，それでは返し足り無いぐらい両親から与えていただいているので，ゆっくり
返せるだけ感謝を返していくつもりです．ここまで育てていただいた両親に感謝します．本
当にありがとうございました．
– 45 –
参考文献
[1] 松村 朱里, 岩井 儀雄, 谷内田 正彦, “肌色情報を用いた複数人物追跡”, コンピュータビ
ジョンとイメージメディア 133-18 2002-05-09
[2] 玉木 徹, 山村 毅, 大西 昇, “画像系列からの人物領域の抽出”, 電気学会論文誌 C 199 巻
１号 平成 11 年
[3] 田中 靖哲, 長谷部 斉志, 菊池 春秀, “『人物』検出手法に関する研究開発”, 財団法人ソ
フトピアジャパン ソフトピアジャパン共同研究報告書 Vol.11 2007
[4] 内舘光, 猪田良介, 辻俊明, 阿部茂, “ 実時間画像処理によるエレベータ乗場の人数計測
と車いすの識別 ”,IIC-08-88
[5] 高柳雄太朗, “ HOG 付加特徴を用いた人物全身像検出 ”, 早稲田大学大学院基幹理工学
研究科, 修士論文,2010,2,5
[6] 上田晴彦, “ 情報科学からみた形態の定量化について ”, 秋田大学教育学部, 研究紀要
(自然科学),55,77-82,1997
[7] “ 画像処理ソリューション ”, http://imagingsolution.blog107.fc2.com/
[8] 浅野 晃, 延原 肇, “マセマティカルモルフォロジーの基礎と新展開”, 電子情報通信学会
論文誌 Vol.92 No.10. pp. 2009
[9] 北田 基樹, 小谷 一孔, “顔部品画像のモルフォロジー解析と個人識別”, コンピュータビ
ジョンとイメージメディア 109-9 1998-01-23
[10] 数藤 恭子, 大和 淳司, 伴野 明, “モルフォロジー処理によるパターンスペクトルを特徴量
に用いた男女識別法”, 電子情報通信学会論文誌 D-
1997-05
– 46 –
Vol.J80-D-
No.5 pp.1037-1045