Convolutional Neural Network を用いた触感検索システム

This article is a technical report without peer review, and its polished and/or extended version may be published elsewhere.
Convolutional Neural Network を用いた触感検索システム
A haptic search system based on Convolutional Neural Network
Ҏ ÁÄ 1)ſ Ę ½º 1)ſń ú 1)
Nobuhisa HANAMITSU, Kouta MINAMIZAWA and Susumu TACHI
1) Þ߼´¹¾¹¾ŲeU=<UJ>qĨĮī
(223-8526 ĈĔËėžŸõ¥ 4-1-1, [email protected], {kouta, tachi}@tachilab.org)
概要: ýŞñ)蜜Ý:Ġ
œÝăķAqLq:êā6. êā6KMTd)ſœÝ(ş—ŭ
$Ż„ÎŕIJŭ'•7"
6ƀş—ŭ#)ſDeep Learning #Ġ
476 Convolutional Neural
Network(CNN)fUm:Ġ
"œÝ(Ŝş:ÀŌƀŻ„ÎŕIJŭ)ſConvolutional Neural Network
fUm(ş—ĹĀ4Ż„Î:ŕIJſŻ„6œÝ:ăķ#6KMTd:ŰĤƀ74:
ĺ¤œÝ(ăķ¢ŀ&KMTd:êā6ƀ
キーワード: œÝăķ,蜜Ý, œÝŜş, Deep Learning
1. はじめに
2. 触感検索の設計要件
ăķ)ĪŪ(ğē(y#Ċ&
1($&ƀ
Google$
Ŕʼn ăķ6$
ܪ:æ
ýĭ'6œÝăķ#)ſœÝ(ş—ŭ$Ż„ÎŕIJ
ŭ'•7"
6ƀœÝ(ş—) CNN fUm'±!Ą
$
1Ź6ƀ(3&ăķ)ſô'ñ»:Ġ
Esps
ijœÝ:ş—6áĐ[6]:˜Ġ6ƀýş—áĐ#)ſ
Wä”4ſGoogleĢŒăķ2Ŷ¶ăķ(3'ĪŪ(Ý
Ŷŷ‹£:Ġ
"ŗůœÝÚ²:ſŎð(&5ŨÎ
"
6ÝőÚ²:(..š"ăķ#6'Ń
#ŗů1(:¾ľ6$#ſœÝÚ²(·'Â
"
6ƀ(3'Fk?Wu'¼®6Ł¹&Ú²)ſ
Ø1(#6ƀ.œÝş—KMTd)ſĠÜĶ
ĪŪ|Ý:ŧ"Àwģ(Ú²:Ý6($¦3
þ(œÝ$'Ąij CNN fUm:ĺ¤6$#œ
&¼®-$·95
Ý(ş—¢ŀ&KMTd:Àĝ6ƀ
6ƀ
Takeuchi4[1](TouchCast#)ſMinamizawa4[2]êā
.Ż„Î:Ď06áĐ)ſ‰*ĢŒ#7*ņ2Ñ
ſœ6ų'Ĥğ6­†‚ìèœ:ŗůr¨ĩ6á
ĜTFMQgěÕĚ&%êā7"
6ƀ}«˜Ġ
Đ:˜ĠſœÝ:ƒ2ċHqTqS:™ũrü
"
6œÝş—KMTd#)š7Ú²$ CNN f
6Cqk>q_kRV]Bsd:êāƀ(
Um(Ąij'ˆĠUsPORVļ$(ş—Î:ŕIJ
TouchCast)ſtŅ(isJs#1łġ'œÝHqTqS
6ƀ}«)œÝ(Ż„Î(çĆ$"Ąij77
:™‡ü6³ŵ:Û¿1(#6ƀ.Saga4
CNN fUm4Ô476ş—Î:˜ĠſŻ„Î:ŕIJ
[3])œőU=M_n>(š‹£(řŠ(0'ĉĂ¾
6$#ſŻ„œÝ(ă”:ÀŌ6ƀ
ľ'3"š‹£:řŠ6áĐ:êā"
6ƀöÉ
4[4])ſSDĐ'36CZcVa'3"Ûţ76¹
3. 検索システムの実装
ríîrĴÙ'ű6œÝ(zà•(zŒĥ>esL
3.1 触感識別システムの為のデータベースの構築
4ſCZcVa:Ġ
œÝ(•Ì2ſ4Ûţ7
#){0ĠÜĶþļ77(œÝ(Xhs
6Ķþ(cR\qG:Ŋ&. (3'œÝ:™
kmYRVpsF:Ąijĺ¤"ſœÝş—:Àĝ
ũrü6$2ŜşſCZcVa:Ġ
ŋĝ'3
6ƀ}«XhskmYRVpsF:Ąij60' 10
"•Ż:3$6Ś/
¼®6ƀ7'Â
ĬŻ(ĶþŽcorduroyſfarſfeltſknitſmetalſplasticſpoplinſ
"ĪŪ(Ý"
6œÝÚ²:(..˜Ġ6$
shellſspongeſ woodž:˜Ġƀ(Óaq°U[>
#ſœÝÚ²(âÍ35åÐ76$Ŀ476ƀ
M$CsU=CU[>M#Ąij7е:Ġ
"Ķþ
:(&5ſœÝ:ŗůſXhskmYRVpsF:
#ýĭ#)CZcVa#)ş—#&
Ýőĥ&
œ5Ö¯:ſ(..šſŻ„6œÝ:ăķ#6
Ąijƀ(XhskmYRVpsF(Ąij'
"ſ
KMTd:êā6.
DsYmI>N$I^Iq_lqGI>N(ûū&ĸ/
¤9:Ď06×ŏ6ƀ(ď¿'){0«ı÷
4'&"
6TMVUsP:Ġ
"ŕĖƀ
300
3.2 類似触感の検出システムの実装
2 wood (œÝ)ſmetal $čťſù:æ"
6
3.1 #Ąij CNN fUm'±!
"Ż„6œÝ:
0—(ŢÝ'Ý476ſŋŵÑĜ'ħĦ6$ metal
éķ6ƀCNN fUm)š7Ķþ:ſĄij'ˆĠ
$¦ą'IkIk"
6$–6ƀ($4ſă
Ķþ4Ąà7XhskmYRVpsF'3
ķAqLq')ĕ‘:ĩPG:ĠÜ6$#ſ35œ
"čťſş—Δš76ƀ(ş—Î)Ķþ(ŤŴ
őĥ&ăķ¢ŀ'&68ƀ.¬ 3 (3' LEGO
$/&$#60ſýáĐ#)Ąij 10 ĬŻ
(œÝ:ăķ$8ſShellŽ99.79%ž2JkJk
( CNN fUm'FAl$"ˆĠ6œÝ:š6ƀ
_kMQRFŽ99.73%ž(ŋŵſĒęÿŽ99.7%ž(œÝ
}«UsP`sMÃŐć&0ſĻÑéķ:Ġ
"ſş
u…'uœÝÚ²(y'ſ“’à•§.76
—Î(ż
Ÿ'Ķþ(ă”:Ŋ&ƀ.š7œ
0ſ¦ą'ŋŵ'“’ÑĜ(61(Ŭ*7($
Ý)ò' CNN fUm(UsP`sM$"˜Ġ76ƀ
Ŀ476ƀ~(_kMQRF(Ēęÿ#ăķų'1ſ
metal u…Æ'ĝ7"6ſtó#UXd:ăķ
4. 検索結果と考察
ų') metal )v…Æ'$%."5ſ_kMQRFŻ
3 į#ÀŌăķKMTd:˜Ġſ”š76ăķ
(ż©đà•$ŮÅŻ(ż©đà•'ŧ(œÝŽ&
"ăŘ6ƀŻ„Ο'±!u… 5 .#(
Ŷŷžà•§.7"
6$Ŀ476ƀ¬ 4 'Ĺ
ĹĀ'
Ā:ĩ corduroy :šų')ſu…'Ì(œÝ$ſ
Ķþ:ŋĩ"
6ƀ
S>sW(ğ¯:ăķų')ſ¬ 1 'ĩ3'ſ
“’ÑĜ(æ
ĶþŽplastic 2 shell &%žu"
u…'Ì(œÝx,ĹĀ$&ƀu4b_lqğ¯
6ƀ7$4&ų(œÝà•'Ì(à•$“’
Ž87.78%ž
rHsUho>Ž70.66%ž
rXRVğ¯Ž67.93%ž
ÑĜ( 2
$x;#
6ƀ. Apple (ŋŵ:ăķų')ſ¬ 2
ź$"ſœÝà•$ŋŵÑĜ(~'ſþŢà•:%(3
'ĩ3' denimiŽ96.41%žſmetalŽ96.04%žſwood
'ş—6ŝź$"476ƀ
§.7"
6$Ŀ476ſ}Ó(ŝ
Ž95.55%žu…'ŋĩ7"
6ƀ(Ě'ű" denim
5. おわりに
ýĭ#)ſCNN fUm:Ġ
"œÝ:ş—ſ(œ
Ý(Ż„α!ăķĹĀ:êĩ6KMTd:ÀŌ
ƀœÝ(ăķKMTd$")ſUsP`sM(
ŠÏ2ş—(ĵÎ&%ŝźČ6ƀ}Ó¸Ĭ¸ą&Ķþ
'ÂØſی6œÝ'Ŧ
ăķKMTd'
"ăŖ
"
ƀ
図 1: ツイードの生地で検索した結果（上位 5 件） 謝辞 ýĨĮ) JST-CREST976ڲе_oL
@FV3+ī¾ĨĮšō›ŮŽňá Až 26700018 (ï
ë:¡"Ŋ97ƀ
参考文献
[1] Takeuchi, Y.et al.: TouchCast: an on-line platform for
図 2: iPad の表面で検索した結果（上位 5 件） creation and sharing of tactile content based on tactile
copy& paste. UIST2012, pp. 13-14, 2012.
[2] Minamizawa, K. et al.: TECHTILE toolkit: a prototyping
tool for design and education of haptic media, in Proc.
VRIC2012.p.26, 2012.
[3] ÈÇø et al.: 蜜ő‹£(ĉĂ¾ľ'36•Ż$ă
Ŗ,‹¾ã², Vol.112, No.483, pp.127-130, 2013.
図 3: LEGO で検索した結果（上位 5 件） [4] öÉøÒ et al.: CZcVa:˜Ġœ5Ö¯(•Ż
áĐ,õý VR ¾Şñś,Vol.15,No.3, pp.487-490, 2010.
[5] Krizhevsky, A. et al.: Imagenet classification with deep
convolutional neural networks, NIPS, pp.1097-1105, 2012.
[6] ҎÁÄ et al.: 振動触感に基づくテキスタイルœÝ(
ş—,İ 16 «õýÝÙʾ¹,€ĢORKjq,2014
図 4: コーデュロイで検索した結果（上位 5 件） 301