マシンビジョンの改良による収穫ロボットの認識性能向上

平成 22 年度
修士論文
マシンビジョンの改良による収穫ロボットの認識性能向上
Improvement of the ability to recognize for Picking Robot by improving machine vision.
指導教員
岡 宏一 教授
高知工科大学大学院工学研究科基盤工学専攻
知能機械システムコース
1135019
大崎貴士
目次
第一章 諸言 ................................................................
................................................................................................
..................................................................
.................................. 1
1-1 研究背景............................................................................................................. 1
1-2 ピーマンの生産の現状........................................................................................ 4
1-3 研究の内容と目的............................................................................................... 5
第二章 画像処理 ................................................................
...........................................................................................
........................................................... 7
2-1 ＨＳＩ空間表色系 ............................................................................................ 7
2-2 画像処理システム ............................................................................................ 8
2-3 照明の役割 ................................................................................................................9
2-4 ＬＥＤ照明装置の利用 ...........................................................................................10
第三章 認識実験 ................................................................
.........................................................................................
......................................................... 12
3-1 画像処理に必要なオペレータの説明 ....................................................................12
3-2 ＬＥＤ光の反射を利用した認識システム .............................................................13
3-2-1 果実の色相値を利用.................................................................................................... 13
3-2-2 果実と葉の色相値の違いを利用した画像処理アルゴリズム ...................................... 13
3-2-3 実験概要 .................................................................................................................... 14
3-2-4 実験と考察 ................................................................................................................. 15
3-3ＬＥＤ光の反射を利用した認識システム ..............................................................16
3-3-1ＬＥＤ光の反射を利用................................................................................................. 16
3-3-2ＬＥＤ光の反射を利用した画像処理アルゴリズム ..................................................... 20
3-3-3 実験結果と考察 ........................................................................................................ 22
3-4 果実の色とＬＥＤ光を利用した認識システム ......................................................26
3-4-1 果実の色とＬＥＤ光を利用 ................................................................................... 26
3-4-2 果実の色とＬＥＤ光を利用した画像処理アルゴリズムの構築 .................................. 29
3-4-3 実験結果と考察........................................................................................................... 31
3-5 果実の形状と傾きを検出 ...........................................................................................35
3-5-1 果実の形状とその傾きを検出する認識システム ........................................................ 35
3-5-2 実験結果と考察 .............................................................................................................. 38
第四章 結言 ................................................................
................................................................................................
................................................................ 40
4-1 まとめと今後の課題 .................................................................................................40
参考文献 ................................................................
................................................................................................
.......................................................................
....................................... 41
謝辞 ................................................................
................................................................................................
..............................................................................
.............................................. 42
第一章
諸言
1-1 研究背景
高知県は，温暖で冬場の日照時間が長いという農業生産に恵まれたき好条件を有してお
り，地形的にも，海岸部の平坦地域から四国山地に至る山間地域まで変化に富んだ自然条
件を有している．しかし，県土の 8４%を森林が占め，耕地の比率が 4.2%と低いため，農
家一戸辺りの平均耕地面積は 85.3a は全国平均 154.8ａを大幅に下回っている． こうした
条件のもとで，平場においては，冬春野菜を中心に収益率の高い温室栽培が発展している
Fig.1-1．高知県における冬春野菜の出荷量は全国的にみても上位を示している Table.1-1．
この施設園芸において，少子高齢化による農業労働力不足の解消のため機械化・自動化が
期待されている．企業では大規模な農産物の自動化工場への取り組みが進められており，
一般のビニールハウス施設においても，温室栽培は多くの点で優れている．温室は，ビニール
シートで覆われていて，野菜を強風や悪天候，害虫などの自然災害から守る． 温室栽培は，管
理された状況下で栽培されるため，農産物がより効率的に，かつより高い品質を保つことができ
る．自動温室栽培システムの代表的な例は，自動温度制御システムと，自動散水システムと自動
摘み取りシステムである．自動温度制御システムと自動散水システムは，実際のハウスで採用さ
れている Fig.1-3,Fig.1-4．しかしながら，果実の判別システム，摘み取り機構，移動機構の技術
不足により，自動摘み取りシステムを構築することは難しいのである．今までに，イチゴやトマ
トの摘み取りロボットは，研究されてきた．これらの果実は，特別な環境下で栽培され，かつそ
れらの色で区別するのが容易であることから，研究が行われてきた．私たちの最終的な目標は，
普通の温室で栽培されたピーマンの実の自動検出システムを構成することである．ピーマンは温
室栽培で主要な農産物ですが，果実と葉の色や形がほとんど同じであり，果実の認識が難しいた
め，摘み取りロボットは開発されていない．本研究では，果実の認識が難しく，また高知県
の基幹産業であるハウス園芸野菜の一つであるピーマンを対象に適期を判定し収穫を行う
ロボットの開発に取り組む．
1
Fig.1-1
Table.1-1
Photograph of greenhouse
Chart of shipment of winter and spring
品目
出荷量
全国ランキング
冬春きゅうり
２４６００ｔ
４位
冬春なす
３５３００ｔ
１位
冬春ピーマン
１０２００ｔ
３位
2
Fig.1-3 Temperature adjustment device
Fig.1-4 Watering device
3
1-2 ピーマン生産の現状
施設ピーマンは，Fig.1-5 に示すようなビニールハウス内で，1.2m 程度の間隔で作られ
た畝に栽培されている Fig1-6．一般に毎年８月から９月ごろに苗植えが行われ，１０月ご
ろから翌年の７月ごろまで収穫されている．収穫する果実の大きさは，高知県園芸連の県
共計協会の「高知ピーマン部会」で規格統一されている．市場に出ている主要な大きさは
等級Ａ階級Ｍのもので，一袋４～５入りで 150g，ピーマン１つの重さは 28ｇ～40ｇであり
30ｇを中心にしている．
農家ではおもにこのＭサイズと呼ばれる大きさのものを収穫し，ＪＡなどに出荷してい
る．収穫者はピーマンの大きさを長年の経験で判断し一つ一つ果柄部をハサミで切り
Fig.1-7，コンテナに入れてＪＡなどに出荷する Fig1-8．ＪＡなどで，１袋 4～5 入りで 150
ｇに袋詰されて市場に出荷される．各農家の労働力の状況により一日で収穫できる量には
かぎりがあり，生産期になると高齢者経営，少人数経営の農家では適期に収穫できないな
どの労働力不足の問題がある．
ピーマン
畝
Fig.1-5 Photograph of greenhouse
Fig.1-6 Cultivating landscape
図１－4 ピーマン収穫の様子
図 1-5 コンテナに収穫されたピーマン
コンテナ
Fig.1-7 Cut a green pepper
Fig.1-8 Put it into a basket
4
1-3 研究の内容と目的
本研究は，労働力不足の解消・援助をめざし，現状のビニールハウス施設でのピーマン
の収穫において，畝間を走行し，自動で収穫可能なピーマンを認識し，摘み取りを行うロ
ボットの開発を目的とする．開発する収穫ロボットの構成図を Fig.1-9 に示す．収穫ロボッ
トは大きく分けて三つの部位で構成される．
まず，果実を認識するために視覚部が必要となる．
次に，認識した果実を摘み取り，収穫用のコンテナの中に入れる摘み取り部が必要であ
る．
そして最後に，畝間の狭路を走行するための走行部が必要である．
私たちはこれまでに，試作機を二台制作した Fig1-10,Fig.1-11．Fig1-10 の試作機第一号
は収穫できる範囲が狭いために，Fig1-11 の試作機第二号が制作された．
picking robot
container
recognition technology
(sweer pepper,position, size,...)
picking technology
(cutting, getting,...)
moving technology
(moving, positioning,...)
Fig.1-9
Image of Picking Robot
5
Fig.1-10 Photograph of prototype Ⅰ
Fig.1-11 Photograph of prototype Ⅱ
6
第二章 画像処理
2-1 ＨＳＩ空間表色系
緑色のピーマンを認識するためにカラー画像を用いて解析する．人の色彩感覚は，色の
違いを表す色相（Hue）
，色の鮮やかさを表す彩度（Saturation）
，色のもつ明るさを表す明
度（Intensity）の３つの値による HSI 空間で表される．この表色系は色の表現として直感
的であり，カラー画像処理に良く利用されている．RGB 空間と HIS 空間を，Fig.2-1 と
Fig.2-2 に示す．なお，HSI 空間は，輝度に brightness，lightness，および value を用いて
HSB 空間，HSL 空間，HSV 空間と呼ばれることがある．本書では HSI 空間で統一する．
今回ピーマンの果実認識の画像処理には領域分割の行いやすい HSI 空間の表現色を用いた ．
Blue (B)
Intensity (I)
Blue
Cyan
Magenta
White
Green
Cyan
Green (G)
Black
Yellow
Blue
Green
Red
Hue (H)
Red
Magenta
Yellow
Red(R)
Fig.2-1
RGB space
Fig.2-2 HSI space
7
Saturation(S)
2-2 画像処理システム
本研究で使用した画像処理システムは，図２－３に示すように有効画素数 640×482 のカ
ラーCCD カメラ
（RF SYSTEM 製 SG-55）
，
カラー画像入力ボード
（Leutron Vision 製 Pic-Port）
，
画像処理アプリケーションで構成する．カメラは奥行を把握できるように 2 台設置し左右
のカメラで目標物を認識するようにした．画像入力ボードはカメラからのアナログ信号を
デジタル信号に変換してパソコンのメインメモリに取り込むもので，カラー対応で入力ポ
ートを複数個持っているものを使用した．画像の取り込みから，目標物の認識までの一連
の画像処理は，汎用の画像処理開発アプリケーションを利用し，プログラムを開発した．
ＰＣ
Sweet pepper
Camera
Image captures board
PIC BUS
Camera
Image data
Image processing
application program
Memory
Fig.2-3
Table.2-1
品
Image processing system
Specifications of image Processing System
目
仕 様 など
Color CCD camera
1/4inch dual CCD 680 thousand pixels（RF SYSTEM）
Image capture board
Analog color capture board Pic-Port（Leutron Vision）
Image
processing HALCON（MVTec）
application
Computer
Endeavor AT970 , 3GHz , 1GB
8
2-3 照明の役割
ピーマンの識別の画像処理において，照明を用いることによって，HIS 空間で表現された
彩度(Saturation)画像の濃淡値が変化することがわかった．照明を用いない画像は，果実
と葉の濃淡値に殆ど差異が見られず，2 値化により果実と葉を区別することは困難である．
一方，照明を用いた画像では果実と葉の濃淡値に差異が見られ，果実と葉の区別が可能と
なる．Fig.2-4 の赤い部分は 2 値化処理した領域を示す．また，(a)は照明がない場合を示
し，(b)は照明がある場合を示す．照明を用いない画像では，果実と葉に殆ど変化がない．
しかし，照明を用いた画像では，果実と葉に濃淡値の差異が見られピーマンの識別が可能
となる．
(a)Image grab without light
Fig.2-4
(b)Image grab with light
Change of gray value Image by light
9
2-4 ＬＥＤ照明装置
ＬＥＤ照明装置の利用
装置の利用
これまで照明に使用してきた蛍光灯は広範囲を照らすため，Fig.2-5 で示しているように
左右のカメラが別々の果実を認識してしまうことなど問題がある．そこで，照明範囲を絞
り，ピンポイントのみを照らせる照明ならば摘み取るための目標となる果実を絞り込める
と考え，直光性のある LED を用いた照明装置を提案した．提案した LED の照明は，Fig.2-6
に示すように LED から出る光が 1 つの果実にあたり，反射した光が両方のカメラに入る．
また LED の照明は，左右のカメラが別々の果実を認識することを防ぐため，1 台のカメラの
みに取り付け，照明を取り付けたカメラ前方の果実のみを照らすようにした．これにより
Fig.3-5 に示すように左右のカメラが同じ果実を認識できるようになった．作製した LED の
照明装置を Fig.2－7 に示す．
Green pepper
Light of Fluorescent lamp
Reflected
Fluorescent lamp
Camera
Fig.2-5
Brief chart of Fluorescent
10
Green pepper
Light of LED
Reflected
LED
Camera
Fig.2-6
Brief chart of LED lighting system
Fig.2-7
LED lighting system
11
第三章 認識実験
3-1 画像処理に必要なオペレータの説明
(1) 画像の取り込みと HIS 空間表現
カラー画像を取り込み，RGB 空間から HIS 空間表色系に変換する．
(2) 2 値化処理
輝度(Intensity)，彩度(Saturation)，色相(Hue)の順に画像を 2 値化処理し，できるだ
けピーマンの果実のみを含む画像にする．輝度画像で非常に明るい部分を除き，彩度の 2
値化で葉の大部分が果実と区別され，最後に色相でできるだけノイズを取り除く．照明の
ない画像データでは，葉と果実の差がなくこのような 2 値化処理でピーマンの抽出は困難
である．この段階では絞り込んだ領域には果実以外のノイズが多く含まれている．
(3) ラベリング
2 値化によって絞り込まれた画像中の同じ連結成分内の画素，すなわち連結領域には同じ
ラベル(名前)を付け，異なる連結成分には異なる連結成分には異なるラベルを付ける．こ
の処理をラベリングという．
(4) 特徴量抽出
ラベリングされた連結領域には，内部に空白の部分が見られる．実際にはこの部分も領
域の一部であり，この空白を埋める処理を行う．最後にそれぞれ個別化された固体から果
実の特徴量で抽出を行う．
(5) 領域の縮小
画像処理領域を縮小する．
12
3-2 果実の色よる認識システム
3-2-1 果実の色相値を利用
画像処理を行う際に，果実の色相値に対する閾値をあらかじめ設定しておくことで，果
実の認識を行う．これは，これまでに開発されてきたトマトやナスなどを認識するロボッ
トに使用されてきた最も簡単な果実の認識方法である．
3-2-2 果実と葉の色相値の違いを利用した画像処理アルゴリズム
任意の閾値を使用し，色相の画像を二値化処理することで果実の認識を行うといった画
像処理アルゴリズムを Fig.3-1 に示す．
start
image grab
labeling
transform RGB to HSI
connection
binarization of intensity
fill up
binarization of saturation
select of feature
binarization of hue
recognition of sweet pepper
end
Fig.3-1 Image processing algorithm used the difference between fruits and
leaves
13
3-2-3 実験概要
Fig.2-7 で示した実験装置を使用し，夜間のハウス内で認識性能の検証を行った．夜間の
ハウスで実験を行う理由としては，農家の方が眠っている時間を有効活用し，かつ実験に
は太陽光を必要としないことから，このロボットは夜間に働くことが適していると考えら
れるからである．また，今回色相値の閾値は，果実が認識されやすいように 60 から 80 の
範囲に設定した．実験の様子を Fig.3-2 に示す．
Fig.3-2 Part that shines in white
14
3-2-4 実験結果と考察
任意の閾値を色相値に対して設定することで，果実の認識は可能であった Fig.3-1(a)．し
かしながら，距離による照度の違いから，場所によって果実と葉の色が常に変化し，葉の
誤認識が多発した Fig.3-1(b)．これでは，常に果実の閾値を変更しなければならず，自動化
は不可能である．
(a)
(b)
Fig.3-3
Example of recognition result
15
3-3 ＬＥＤ光の反射を利用した認識システム
3-3-1 ＬＥＤ光の反射を利用
これまでに説明した色相の二値化処理により果実を認識することが可能である．しかし
ながら，ハウス内では，太陽の影響により，果実の色は一定でない Fig3-4．これまでの色
による認識システムを利用するとき，いつも閾値を変更しなければならない．こうした理
由から, 果実の位置を特定するのに Fig.3-5 に示しているように，果実の表面にできる LED
の白い反射光を利用することにした．Fig.3-6 に果実，葉，反射部のグレイ値を測定したグ
ラフを示す．反射部は低い彩度と高い輝度で示されていることがわかる．
Reflection part
Fruit
Leaf_1
16
Leaf_2
(a)
(b)
Fig.3-4 Photograph of the green pepper
17
Fig.3-5 Captured image using white LED
18
(a) Leave-1
(b) Fruit
(c) Leave-2
(d) Reflection part
Fig.3-6 HSI color space histogram (left： Hue, center:
Intensity)
19
Saturation, right:
3-3-2 ＬＥＤ光の反射を利用した画像処理アルゴリズム
果実の表面にできるＬＥＤ光の反射を利用した画像処理アルゴリズムを Fig.3-7 に示す．
Fig.3-7 のアルゴリズムは，反射部を利用し三つの点が改善された．
一つ目は，反射部の周囲が果実であると想定されることから，果実の位置が測定できる．
二つ目は，反射部近辺に果実が存在していると想定されることから，自動で反射部の周
囲の情報を取得することで，果実の個々の色の違いに対応することができ，より正確な果
実の認識が可能となる．
三つ目は，画像処理範囲を反射部の周囲 400×200 のエリアに縮小することができ，認識
速度が向上する．
これらの改善点を踏まえ，新しい画像処理アルゴリズムの有効性を実験により検証する．
20
start
image grab
(Fig.12(a))
binarization of intensity
using the obtained value
(Fig.12(d))
transform RGB to HSI
binarization of intensity
(from 250 to 255)
binarization of saturation
using the obtained value
(Fig.12(e))
binarization of saturation
(from 0 to 50)
binarization of hue
using the obtained value
(Fig.12(f))
labeling
Dilation and erosion
(Fig.12(g))
select of feature
Labling and fill-up
(Fig.12(h))
recognition
of the reflection area
(Fig.12(b))
Getting the binarization
value of HSI aruond
the reflection area
select by feature
(Fig.12(i))
Distinction
of sweet pepper
(Fig.12(j))
reduce the image
proscessing area
(Fig.12(c))
end
Fig.3-7 Improved image processing algorithm used reflection of fruits
21
3-3-3 実験結果
実験結果と考察
結果と考察
提案したアルゴリズムに従い実験を行った．
その画像処理の一連の結果を Fig.3-8 に示す．
まず，Fig.3-8(a)の画像から，果実の光沢部分を認識した．そして，その光沢部の周囲を緑
色の枠で囲み，その枠内に対して色相値の最小値と中間値を取得した．次に，光沢部の周
囲を黄色の枠で囲み Fig.3-8(c)，その枠内で，取得した果実の閾値による画像処理を行い，
果実を認識した Fig.3-8(f)．
認識に成功した例を Fig.3-9 に示す．認識に失敗した例を Fig.3-10 に示す．今回認識に
失敗した大きな原因としては，果実の光沢を利用したアルゴリズムだけでは，白い花や苗
を支える白い紐，ハウスからの光の照り返し，茎の白く光る反射などについては考慮して
いなかったためである．よって，光沢を認識する際に果実の誤認識が多発した．そこで，
照度を下げ，果実の反射とその他の白い反射との違いをはっきりとさせることで，この問
題に対処しようと試みたが，その結果 Fig.3-10(a)から(e)に示すように，照度不足による光
沢部の認識性能が低下し，果実の認識ができなくなってしまった．
結果として，Fig.3-8 に示すように反射を利用することで果実の正確な位置を認識するこ
とは可能であったが，その認識性能は照明の照度に大きく左右されることが分かった．さ
らに，照度が高いと誤認識が多発し，認識力の低下を惹き起こすことが分かった．しかし
ながら，果実の色相値で判断する方法よりも，この光の反射を利用したシステムの方が，
果実の位置を認識する性能は高いと分かった．
22
(a) Image grab
(b) Reflection part
(c) Processing area
(d) Binarization of hue
(g) Select by feature
(h) Distinction of sweet pepper
Fig.3-8 Result of the image processing used reflection of fruits
23
(a)
(b)
(c)
(d)
(e)
(f)
Fig.3-9 Result of the image processing used reflection of fruits
24
(a)
(b)
(c)
(d)
(e)
(f)
Fig.3-10 Result of the image processing used reflection of fruits
25
3-4 果実の色とＬＥＤ光を利用した認識システム
果実の色とＬＥＤ光を利用した認識システム
3-4-1 果実の色とＬＥＤ光を利用
ＬＥＤ光の反射を利用した認識システムは,果実の色による認識システムと比べ，より正
確な位置を測定することが可能であると分かった．しかしながら，これだけでは果実の位
置を測定するには不十分である．その理由として，Fig.3-11 に示しているように果実の周囲
には白く反射するものが他にも存在するからである．まず，ピーマンの花は白い色をして
いる Fig3-12．果実の周囲にはこの花が多く点在するために，反射部と誤認識することが多
い．次に，ピーマンの苗は，人間の背丈ほどまで成長するため，それを支えるために，農
家の方々は，白い糸を天井から吊るして苗を固定している Fig3-13．この白い糸との誤認識
を防ぐことが必要となってくる．最後に，葉の反射も考慮する必要がある Fig3-14．果実の
みならず，大きく成長した分厚い葉も反射することがあり，これを誤認識してしまうこと
がある．これまでは，照明の照度と輝度の閾値を変更することでこれに対処してきたが，
これでは，認識性能がきわめて低い．そこで，今回は果実の色とＬＥＤ光の光沢の両方を
利用することで，果実の表面にできる白い光沢のみを認識できる画像処理アルゴリズムを
提案する．
Fig.3-11 Photograph of green peppers
26
Fig.3-12 Photograph of flowers of green peppers
Fig.3-13 Photograph of yarn
27
Fig.3-14 Photograph of reflection of the pepper leaf
28
3-4-2 果実の色とＬＥＤ光を利用した画像処理アルゴリズムの構築
果実の色とＬＥＤ光を利用した画像処理アルゴリズムの構築
これまで使用してきた果実の白い光沢を利用した画像処理アルゴリズムに，果実の色を
認識するアルゴリズムを組み合わせた Fig.3-15．
まず，白い反射光を認識した後，反射部の中心周り 100×100 画素の長方形に認識範囲を
縮小し，あらかじめ設定した果実の色相値に対する閾値を利用することで果実の認識を行
う．そして，果実であると認識されたエリアが 3000 画素から 10000 画素に含まれた場合，
その周囲が果実であると設定した．
次に，反射部の周辺が果実であると想定されると，反射部の中心座標を計測し，その中
心周りの限られた小さいエリア内の HSI 値が，
果実の値として設定することが可能である．
この方法により，果実の色の個体差に対応できる．実験では，反射部の周りの 15.5 画素以
内の範囲が果実であると想定した．この範囲で色相の中間値と最小値を測定する．この値
を，果実を認識するための上方と下方の閾値として設定した．
そして，画像処理領域を反射部の中心周りに，400×200 の長方形に制限する．そのエリ
アを，あらかじめ設定しておいた輝度値の閾値で二値化処理を行い，果実や葉，茎の画像
だけを取得する．さらに，その画像を自動で取得した色相の閾値により画像処理を行うこ
とで，果実の画像が取得できる．
29
Start
Transform RGB to HSI
Get
the
value
of
the
binarization of hue around
Image grab
Binarization of hue
Reduce the image processing
area
Labeling
Transform RGB to HSI
Select the shape
Transform RGB to HSI
Binarization of intensity
Reduce the image processing
area around the reflection
Labeling
Binarization of hue using the
obtained value
area
Select the max reflection
Labeling
Transform RGB to HSI
area
Select the max area
Get the center of the
Labeling
reflection area
Distinction of the sweet pepper
Binarization of intensity
Reduce
the
image
processing area
Select the shape
Fig.3-15
Improved image processing algorith
30
End
3-4-3 実験結果と考察
実験結果と考察
一連の画像処理の結果を Fig.3-16 に示す．認識に成功した例を Fig.3-17 に示す．認識に
失敗した例を Fig.3-18 に示す． Fig.3-18(a),(b)は，果実が隣接している場合に，同時に二
個の果実を認識した．Fig3-18(c)は，自動で果実の色相値を取得する際に失敗したことが原
因である．
果実の色相値を利用した結果，葉や花などの反射による誤認識は減った．しかしながら，
隣接している果実の区別はまだできていない．よって今後はもう一台カメラを手先に装着
するなどして対策を考えていく必要がある．
31
(a)
(c)
(b)
(d)
(e)
(f)
Fig.3-16 Example of improved image processing method
32
(a)
(b)
(c)
(d)
(e)
(f)
(g)
(h)
Fig.3-17 Example of experiment results
33
(a)
(b)
(c)
Fig.3-18 Example of experiment results
34
3-5 果実の形状と傾きを検出
3-5-1 果実の形状とその傾き
果実の形状とその傾きを検出する認識システム
とその傾きを検出する認識システム
これまでは，果実を判別する際に，ＣＣＤカメラで撮影した画像内に存在するすべての
果実を認識していた．しかしながら，これまでの画像処理システムでは，完全に葉や茎と
区別することは難しい Fig.3-19,Fig.3.20．そこで，今回は果実の形状と傾きを測定するこ
とで，果実の認識性能の向上を試みる．これまでに Fig.3-10 で示した実験結果より，果実
と葉の誤認識が多発していた．この主な原因は，果実の閾値を測定する場合に葉の閾値も
同時に測定してしまうことであった．そこで，葉を果実であると認識した後，その認識し
たエリアが果実の形状に相応しいかどうかの判別を行い，その後，認識されたエリアがど
の方向に向いているかを測定することで，葉と果実の判別を行った．
果実の形状を判別する際には，収穫の対象となる果実は細長い形状をしていることを利
用した．それを画像処理で応用するために，まず，Fig.3-21 に示しているように果実の形
状を楕円の枠で近似し，その縦と横の比を計算する．そして，収穫の対象となる果実の縦
横比は 1.5 から 3.0 に含まれることから，この範囲を果実の縦横比と設定し，果実である
と認識されたエリアに対して画像処理を行い，再度、果実の認識を行う．
果実の傾きを判別する際には，上記で示した楕円の長軸の向きを測定することで，果実
の向きを判別する Fig.3-22．長軸の向きが果実の向きであると設定する．そして，その上
軸の範囲を左 45 度から右 45 度の範囲に設定し，
この範囲に含まれる果実のみを認識する．
35
Fig.3-21 Recognition result of the fruit shape
Fig.3-22 Recognition result of the fruit shape slope
36
3-5-2 実験結果
実験結果と考察
結果と考察
認識結果を Fig.3-23，Fig3-24 に示す．Fig3-23 の結果は認識に成功している．Fig3-24
の結果は認識に失敗している．形状と角度を利用することで，誤認識の数が減り，より正
確な果実の認識が可能となった．しかしながら，認識精度を向上させることで，認識でき
る数は以前よりも減ってしまった．今後は認識できる数を向上させる方法を考えていく必
要がある．
(a)
(b)
(c)
(d)
(e)
(f)
Fig.3-23 Example of experiment results
37
(a)
(b)
Fig.3-24 Example of experiment results
38
第四章 結言
4-1 まとめと今後の課題
これまでは，色の違いを利用して果実を認識していた．しかしながら，太陽の影響によ
りハウス内では，果実の色が一定ではなく，果実と葉の判別が不安定だった．
そこで，本研究では，認識率の向上を図るために LED 光を使用した認識システムの構築
を試みた．このＬＥＤ光を利用した認識システムでは，果実の表面にできる白い光沢を利
用した．これにより果実の位置を測定できたが，その他の白いものとの判別が困難であっ
た．
次に，色と反射の両方を利用した認識システムの構築を行った．これにより，果実の表
面の光沢のみを認識することが可能となった．
そしてさらに，より認識性能を向上させるために，果実の形状と傾きを測定することを
試みた．その結果，収穫対象となる大きく細長い果実の認識が可能となり，さらには，誤
認識の低下にも役立った．
この改良した画像処理システムを使用して 40 枚の果実の画像を撮影し，画像処理を行っ
た．その内，37 枚で果実の正確な認識に成功した．つまり，認識率は 92.5％である．この
認識率であれば，果実を自動で摘み取ることが十分可能であると考えられる．
今後は，この改良した認識システムと果実からカメラ間の距離との関係を利用し，収穫
するのに適した果実の判別が行える認識システムの構築が必要である．
39
参考文献
[1]
日本の農業-農業と農村
高 齢 化 す る 農 業 労 働 力 ，“ http://www ． gohan ． ne ．
jp/okame-data/04/413．html”
[2] ティラーズ熊本株式会社，
“http://www．tailors．co．jp/tailors．html”
[3]
産業_育てる_花_ビニールハウス，“http://www．city．shimonoseki．yamaguchi．
jp/kyoiku/shidoka/hurusato/www98/i1_hana3．htm”
[4]
有馬誠一，湯木正一，山下淳，加藤岳史，丸身和也，
“イチゴ収穫ロボットの開発研
究”，日本機械学会[No.03-4]ロボテスクメカトロニクス講演会’03
講演論文集
1P1-2F-A5 (2003.5)
[5]
門田充司，難波和彦，西卓郎，“テレロボティクス農業”，日本機械学会[No.03-4]ロ
ボテスクメカトロニクス講演会’03 講演論文集 1P1-2F-A1 (2003.5)
[6] 株式会社リンクス画像システム事業部，HALCON 活用法，2004.10.1
[7] FEST Project 編集委員会，新実践画像処理，2001.6.6
[8] 藤岡弘，中前幸治，
“画像処理の基礎”
，2002.9
[9]
S.Kitamura , K.Oka , F.Takeda ，Development of Picking Robot in Green house
Horticulture , SICE Annual Conference 2005 In Okayama , August8-10 , 2005 Okayama
Unlversity , Japan 3176-3179
40
謝辞
本研究の推進および論文の執筆にあたり，長期間にわたって，終始丁寧かつ適切な御指導
を賜りました指導教官の高知工科大学岡宏一助教授に深く感謝の意を表します．
講義では，多くの高知工科大学の教員の皆様から，有益な情報をいただきました．また，
学ぶことの本当の喜びを教えていただきました．感謝いたします．
共に研究に励み，様々な研究のサポートをしていただいた，知能機械システム工学科岡研
究室の皆様，他の研究室の皆様に感謝します．
このように，本研究は多くの方々のご指導とご援助により達成されたものです．ここに心
から敬意を表し，この論文の結びにしたいと思います．ありがとうございました．
41