仮想世界システム - 東京工業大学 長谷川晶一研究室

仮想世界システム
触覚とその提示・レンダリング
触覚＝体性感覚＋皮膚感覚
Haptic Sense = Proprioception + Cutaneous Sense
触覚＝接触によって生じる感覚
（Haptic＝「接触(Contact)」(ギリシャ語／in Greece)）
皮膚表面の変形（皮膚感覚／Cutaneous Sense, Skin Sense)
筋肉の伸縮，関節角（深部感覚／Proprioception）
力覚提示、力覚フィードバック、力覚インタフェース
Force display, Force feedback
• 力覚：触感（ハプティック）のうち，
力で表現できる部分
– 提示の都合でできた言葉
– 表面の材質感，テクスチャ、温度，熱伝導などは
含まない。
反力
Skin Sensation Mechanism
皮膚感覚
Skin Strunture (Hairless Parts)
Skin surface
表皮／Epidermis
機械受容器：機械的変形に応答
Mechanoreceptor: Sense Mechanical
Deformation
浅部／Shallow part
マイスナー小体／MeissnerCorpuscle
メルケル細胞／Merkel Cell
真皮／Dermis
皮下組織／
Deeper Tissue
深部／Deep part
ルフィニ終末／Ruffini Ending
パチニ小体／Pacinian Corpuscle
その他／Misc
自由神経終末（痛覚、温度感覚）
FreeEnding (Pain, Temperature)
メルケル細胞／Merkel Cell
•皮膚下0.9mmに密に存在．
•唯一の細胞性受容器．神経とシナプス接合
•静的な歪に応答
•発火頻度は歪の大きさに比例
•単独の活動では純粋な圧覚を生成
•Densely Populated at 0.7 - 0.9mm depth.
•Sense Static Deformation.
•Pulse Frequency is Proportional to Deformation.
•When activated, Pure Pressure Sensation is generated.
マイスナー小体／Meissner Corpuscle
•皮膚下0.7mmに密に存在．
•低周波振動(15-100Hz)に応答（共振30Hz)
•発火周波数～振動周波数
•単独の活動では振動感覚，パタパタ感を生じる
•Densely populated at 0.5 – 0.7mm depth.
•Sense Low Frequency Vibration (15-100Hz)
•Has Resonant Frequency （30Hz)
•Pulse Frequency ～Vibration Frequency
•Single Activity Generates “Flutter” Vibratory Sensation
パチニ小体／Pacinian Corpuscle
•皮膚下2mm以上の深部にまばらに存在．
•高周波振動に応答(60-800Hz)(共振250Hz)
•発火周波数～振動周波数
•単独の活動では音叉に触れたような振動感覚，指全体の痺れ
•Sparsely populated at deep region (2mm～)
•Sense High Frequency Vibration (60-800Hz)
•Has Resonant Frequency (250Hz)
•Pulse Frequency～Vibration Frequency
•Single Activity Generates “numb” sensation, just like touching a tuing fork or speaker
ルフィニ終末／Ruffini Ending
•皮膚下2mm以上の深部に疎らに存在．
•静的な横ずれに応答
•発火頻度は横ずれの大きさに比例
•単独の活動では感覚を生じない
•Sparcely Populated in a deep region (2mm～ depth)
•Senses Static Horizontal Deformation
•Pulse Frequency is Proportional to Horizontal Deformation.
•Single activation does not generate sensation
Threshold [μm]
時間的役割分担／Temporal Roles
Frequency[Hz]
Merkel
Meissner
Pacinian
•Merkel：直流成分／圧力
•Meissner：低周波成分／速度
•Pacinian：高周波成分／加速度
•Merkel：DC / Displacement & Pressure
•Meissner：Low Freq. Vibration / Velocity
•Pacinian：High Freq. Vibration / Acceleration
空間的役割分担／Spatial Roles
Meissner
Merkel
Pacinian
•Merkel：細かいパターン／Small Pattern
•Meissner：皮膚上の細かい動き／Small Area Movement
•Pacini：広い面積の動き／Large Area Movement
各機械受容器の役割分担
We only see through narrow slit
Spatial
Resolution
Merkel
Meissner
Pacinian
Temporal
Resolution
ポイント：時間的，空間的な相補性
We combine “Spatially Fine, but Temporally Rough” sensation and “Spatially
Rough, but Temporally Fine sensation.
In other words, we “see” the world through very narrow slit.
皮膚構造と受容器
Skin Structure and Mechanoreceptors
•表皮：硬い
•真皮：柔らかい
•MerkelとMeissnerは境界に存在
•Epidermis：Hard
•Dermis：Soft
Merkel and Meissner are at the interface of
the two layers.
Stress is Concentrated at Merkel
Strain is Largest at Meissner
Gregory J. Gerling, “Fingerprint lines may not directly affect SA-I mechanoreceptor response,” Somatosensory and Motor Research 2008.
形状は主にMerkelによってコーディングされる
Shape is mainly coded by Merkel Cells
Merkelの活動
Meissnerの活動
周波数は受容器の活動比率でコーディングされる
Frequency is mainly coded by combination of receptor activities.
Vibration Amplitude(μm)
人間の振動知覚閾
Frequency
周波数は受容器の活動比率でコーディングされる
Frequency is mainly coded by combination of receptor activities.
Vibration Amplitude(μm)
人間の振動知覚閾
※
Frequency
※振動子が小さいとPaciniの「空間加算」効果が無くなり、高周波が感じにくくなる
If the vibrator size is small, high freq. threshold rizes, because “spatial
summation effect” of Pacinian corpuscle is reduced.
その他の触覚／Other cutaneous sensations
無毛部
有毛部
Glabrous part
Hairy part
皮膚表面付近の自由神経終末（C繊維）
Free nerve ending near skin surface （C fiber）
温度感覚：冷繊維と温繊維／Temperature sensation by two fibers.
痛覚：鋭痛と鈍痛はAγ繊維とC繊維が担当／Pain sensation by two fibers
有毛部／Hairy skin
毛包受容器／Follicle Receptor
毛の根元を取り巻き，毛が曲がるときのみ活動（速度検出）
ただしこれに代わり，Meissner小体は無い．
Activated by low frequency vibration, substituting Meissner corpuscle
興奮性シナプス・抑制性シナプス
Excitatory Synapse, Inhibitory Synapse
x1
x2
x3
•
•
•
•
ー
＋
ー
Y
Y=F(X2-X1-X3)
F(X)=1 when X≧Threshold
=0 when X < Threshold
Cell Body: Take Summation Σ
Excitatory Synapse: Plus(+) input
Inhibotory Synapse: Minus(-) input
Synaptic weight change = Learning and Memory
軸索上の電位伝搬／Axonal Transmission
Dendrite
Cell Body
Nerve Axon
Nerve Ending
• Chemical “ion” is
exchanged via membrane.
• Ion exchange propagates.
• Voltage Difference ~70mV
軸索のタイプ／Axon types
• Axon length: Reaches to 1m.
• ミエリン髄鞘／Myelin Sheath: Insulator
• Electrical Current is limited to very small “gap” (ランビエ絞輪
／Ranvier Node)⇒Very Fast “Skip”
• 有髄神経：Myelinated axon=very fast
• 無髄神経：Unmyelinated axon = very slow
信号伝搬速度／Conduction Velocity
有髄神経
Myelinated
無髄神経
Unmyelinated
name
diameter(μm)
velocity(m/s)
role
Aα
15
100
Many muscle nerves
Aβ
8
50
Many sensory nerves
Aγ
5
20
Some muscle and
sensory nerves
Aδ
3
15
Fast pain
C
0.5
1
Slow pain, heat, cold
sensation, etc
• Rule: Thicker = Faster
•
•
Myelinated Axon: Invention of vertebrate animals
(animals with back-bone).
Other animal’s strategy: Thicker the better.
•
ex）Squid’s gigantic nerve (diameter: 0.5mm)
どうやって調べる／How we know?
By using needle, we can directly measure nerve
activities. Vallbo, “Sensations evoked from the glabrous skin of the human hand by electrical
stimulation of unitary mechanoseisitive afferents,” Brain Res., 1981.
Procedure
(Medical Doctor’s License Required)
(0)See where the nerve bundle is. (by ultrasonography)
(1)Insert a needle (φ0.1mm), which is connected to Amp&Speaker
(2)Identify Location and Type of Receptor by the Sound.
(3)Do Experiment on that Location.
50μV
Tactile Perception & Illusion
触覚の（狭義の）錯覚：錯触
Tactile Illusions
アリストテレスの錯覚
Barber Pole Illusion
滝の残効(Motion Aftereffect)
 仮現運動
ファントムセンセーション(Funneling)
ベルベットイリュージョン
ラバーハンドイリュージョン
…etc
特に近年，触覚研究の発展に伴って増加．
視覚研究者による研究多．
Recent works revealed new tactile illusions
視覚で類推できる錯触例：仮現運動
Tactile Illusion similar to vision: Apparent motion
輝度・振動
地点Ａ
地点Ｂ
地点Ａ
時間
地点Ｂ
聴覚で類推できる錯触例：ファントムセンセーション
Tactile Illusion similar to audio: Phantom Sensation（Funneling）
地点Ａ
知覚位置
地点Ｂ
短パルス刺激で発生
複数刺激子の間に知覚
位置は移動できる
Generated by short pulses
Image generated between
stimulators
Position can be controlled
地点Ａ
地点Ｂ
時間
触覚独自の錯触:ベルベットイリュージョン
Tactile Unique Illusion: Velvet Illusion
荒い網の目（テニスラケットなど）を両手で挟み，
前後に動かすと，モワッとしたベルベット感を生じる．
Sandwiching coarse mesh of a net, such as
tennis racket by two hands, and moves. Then,
smooth surface like velvet is felt.
触覚独自の錯触:サーマル・グリル・イリュージョン
Tactile Unique Illusion: Thermal Grill Illusion
Skin
熱
冷
熱
冷
熱
冷
近い距離で温感と冷感を同時に提示すると痛覚を生じる
Close presentation of hot and cold temperature generates pain
sensation.
実験上、皮膚を損傷せずに痛みを生成するためによく用いられる
Used for the generation of pain sensation without skin damage.
Haptic Perception Mechanism (other than skin sensation)
a. Haptic Illusions
I.
II.
Vision + Haptics
Cutaneous+Haptics
Antagonistic Muscles 拮抗筋
•Two muscles are responsible for one joint. Isn’t it redundant?
•Answer1: Muscle can only exert force when it shrinks.
•Answer2: By Two muscles, “Force” and “Impedance(softness)” is
independently presented.
•Muscle A – Muscle B = Exerted Force
•Muscle A + Muscle B = Joint Softness
Receptors around Muscle and Joint
• Muscle Spindle 筋紡錘
– Inside Muscle
– React to Muscle Length
Change
=Velocity
• Golgi Tendon Organ
– At the Tendon (Muscle-Bone
Connection)
– React to Muscle Force
=Force
• Joint Mechanoreceptor
– Inside Joint
– React to Joint Angle
=Position
錯触（皮膚感覚による錯触のぞく）の一部
Haptic Illusions (part of. other than purely cutaneous illusion)
1. Vision + Haptics
2. Cutaneous（皮膚感覚） + Haptics
視覚によるハプティック錯覚 (1)：サイズ-重さ錯覚
Vision Induced Haptics(1): Size-Weight Illusion
同じ重量であれば、小さいものをより重く感じる。
If two objects are the same weight, smaller one felt hevier.
iPadやMacBookAirを「意外に重く」感じる理由？
視覚によるハプティック錯覚 (2)：シュードハプティクス
Vision Induced Haptics(2): Pseudo-Haptics
視覚的な動きによって、触覚的な抵抗感を感じる。マウスカー
ソルの動きを遅くしたときのブレーキ感。
Visual motion induces haptic resistance. (ex) Braking
feeling when mouse cursor is suddenly slowed down.
http://www.irisa.fr/tactiles/index-eng.html
PseudoHaptics
http://www.youtube.com/watch?v=F6h_19PxKO8
視覚によるハプティック錯覚 (3)：
Rubber Hand Illusion
見えていない実際の手に触覚的な刺激を与え、同時にゴムの手に視
覚的な刺激を与える。しばらくするとゴムの手が自分の手であるように
感じる
Watching a rubber hand being stroked synchronously with one’s
own unseen hand causes the rubber hand to be attributed to
one’s own body, to “feel like it’s my hand.”
Botvinick, M., & Cohen, J.: Rubber hands "feel" touch that eyes see, Nature, 391, 756 (1998)
Armel , K. C. , & Ramachandran, V. S. : Projecting sensations to external objects: evidence
from skin conductance response, Proc R Soc Lond B Biol Sci, 270, 1499-1506 (2003)
Rubber Hand Illusion
http://www.youtube.com/watch?v=nzF_DfOafKw&feature=related
視覚によるハプティック錯覚 (4)：
ミラーボックスによる幻肢痛の緩和
Reduction of phantom pain by mirror box
幻肢痛：手足を失った後に、切断部位は問題な
いのに激しい痛みを感じる現象。
ひとつの仮説：失った手足の脳内座標(ボディ
マップ)が狂い、体内に「食い込む」ことで脳内で
痛みシグナルが発生。姿勢をもとに戻せないた
めに痛みを生じ続ける。
Phantom pain: After one’s hand/arm/leg was
removed, pain seems to occur from the
removed site.
One hypo.: Removed limb’s body map in the
brain comes wrong, and the brain generates
pain signal.
ミラーボックスセラピー
Mirror box therapy
ミラーボックスを使い、両手を使っていることを
イメージさせることで、脳内で無いはずの手を
動かすことができる。これにより幻肢痛を劇的
に低減できる。
Using mirror box, patients can “move” their
lost limb in their brain, so that the phantom
pain is dramatically reduced.
(参考)視覚による痛みの低減
Visually small reduces pain
反転させた双眼鏡を使って痛みの患部を観察すると痛みが減る。
Observing the pain region with reverted binocular, the pain is reduced.
G. Lorimer Moseley, Timothy J. Parsons1 and Charles Spence “Visual distortion of a limb modulates the pain and swelling
evoked by movement,” 2008
皮膚感覚によるハプティック錯覚 Cutaneous Induced Haptics：
ピノキオ錯覚-1／Pinocchio Illusion-1
自分の前の人の鼻を撫でつつ、自分の鼻も撫でると、１分程度で半分程度の人が自分の鼻
が伸びたように感じる。Rubber Hand Illusionの視覚無し版として理解可能
皮膚感覚によるハプティック錯覚 Cutaneous Induced Haptics：
伸展錯覚とピノキオ錯覚-2／Extention Illusion & Pinocchio Illusion2
伸展錯覚：筋肉に強い振動刺激を与
えると、反射によって収縮する。
⇒収縮を妨害すると、筋肉が伸びた
ような錯覚
Extention Illusion: Strong vibration
to muscle induces shrink reflex. If
this shrink is blocked, illusion of
muscle extention occurs.
鼻を摘んだ状態でやると鼻が伸びる。
Doing while pinching nose, the
nose grows like Pinocchio.
友田 達也上杉 繁三輪 敬之ヒューマンインタフェースシンポジウム2007 腱振動刺激による運動錯覚創出インタフェースの開発
皮膚感覚によるハプティック錯覚 Cutaneous
Induced Haptics：ハンガー反射／Hanger Reflex




側頭部圧迫によって外力を知覚
頭部の回旋をも誘発
Front temporal pressure induces “rotational” force perception.
Rotation itself is induced.
動きによる皮膚感覚の錯覚(1)
Ando H. et al., Novel Tactile Contour Presentation: Embossed Touch Display, ACM SIGGRAPH 2006 Sketches
物体をなぞると同時に物体を動かす。
物体の動きとは知覚できず、物体の形状の変化として認識。
つまり
皮膚上の運動と腕の運動の統合はかなり大まか
（逆）皮膚感覚による動きの錯覚(1)
せん断力
ぬめり
仮現運動
力と同時に触覚的な「流れ場」を提示
すると、指の「運動（ぬめり・滑
り）」を感じる
Okabe et al., Fingertip Slip Illusion with an
Electrocutaneous Display, ICAT2011
皮膚圧迫による外力錯覚
Illusory external force by pressure
http://reality.ei.tuat.ac.jp/
稲葉、藤田：指先圧迫による擬似反力提示装置の提案と試作,日本バーチャルリアリティ学会論文誌,2007.
Minamizawa, Haptic Interface for Middle Phalanx Using Dual Motors, EuroHaptics, 2006.
 皮膚の圧迫により、本来は外力がない状況で外力を感じる
 Simple pressure sensation is perceived as external force.
手をベースに指に内力を提示
手をベースに指に内力を提示
触覚提示
Reproduce the World (Shape)
http://www.youtube.com/watch?v=7qOaGIgSAE0
Tactile Display for the blind
大量の高密度実装→アクチュエータの小ささ、安さが鍵
Numerous, dense arrays→Actuator needs to be small and cheap
Xmen2000より （SF・実現していない）
より細いアクチュエータ＝形状記憶合金？
Thinnest actuator = SMA?
Coil-Type SMA（Shape Memory Alloy）
Extremely thin and moves large
Lumen (Ivan Poupyrev, 2005)
Pop UP ! (Masashi Nakatani, 2004)
Is Actuator really necessary?：SandScape
(Yao Wang et al., 2002)
プロジェクタ
ホットミラー
赤外カメラ
砂場（ビーズ）
赤外光源
http://tangible.media.mit.edu/projects/sandscape/
超音波の音圧による提示
温度感覚ディスプレイ／Thermal Display
接触瞬間から2～3秒間の温度変化が
材質感推定の強力な手がかり
2 to 3s temperature change is the key
to detect object property.
Peltier device with temperature sensor
is used to reproduce the time course.
Yamamoto, “Control of Thermal Tactile Display Based on Prediction of Contact Temperature,” ICRA2004
Thermoesthesia (Kushiyama, 2006)
http://www.youtube.com/watch?v=fMwOSM_G1Ys
Reproduce Skin Deformation
“Carpet is expensive. Shoes are enough!” Lets Wear.
Small and light-weight tactile display (KAIST)
http://www.youtube.com/watch?v=CT4WZexTloo
Problem: How can the actuator be so small and dense? (again)
上下変位とは限らない
Vertical Deformation is not Enough
出発点：触覚ディスプレイ研究者の共通疑問
「なぜ現行の触覚ディスプレイでザラザラ感が出せないのか？」
Although many researchers made “dense” tactile displays,
No one succeeded to reproduce “texture” sensation.
皮膚ー対象間のすべりが触覚の本質ではないか？
Horizontal “Slip” is Essential??
凹凸感にとって重要なものは何か(1/2)
What is essential for bump sensation?
指なぞり時の凹凸⇒横方向の「力（ブレーキ）」と
縦方向の「形状」という手がかり。
「形状」よりも「力」を優先して形状知覚をしてい
る。
Gabriel Robles-De-La-Torre & Vincent Hayward: Force can overcome object geometry in the perception of shape
through active touch Nature 2001.
凹凸感にとって重要なものは何か(2/2)
What is essential for bump sensation?
大域的な凹凸感の手がかり：
板の「傾き」＞＞板の高さ
Maarten W. A. Wijntjes, Akihiro Sato, Vincent Hayward, Astrid M. L. Kappers
Local Surface Orientation Dominates Haptic Curvature Discrimination, Trans. On Haptics, 2009.
水平変位の実現
Moving skin horizontally.
能動的手法：皮膚を水平に駆動
Active type: actively drive skin horizontally.
装着型に向く／Good for wear type.
受動的手法：摩擦係数を変化、皮膚が動いて初めて知覚
Passive type: friction coefficient is controlled, and
perceived by skin motion.
環境型に向く／
Good for environmental type.
Active type Horizontal Display
•Horizontal Vibration is
achieved by Micro-Machine
Hayward,”Tactile display device using distributed
lateral skin stretch,” ASME, DSC, 2000.
http://player.vimeo.com/video/413506
Active type Horizontal Display
静電アクチュエータによる皮膚水平方向力の生成
Horizontal force generated by electro-static actuator
山本「静電気力による摩擦力制御とフィルム移動子を用いた薄型皮膚感覚ディスプレイ」日本VR学会大会 2002.
モータによる水平力提示
http://www.youtube.com/watch?v=Prq9-uJSqSE
嵯峨他、剪断力を用いた2.5次元触覚ディスプレイにおける定量的凹凸感提示手法、VR学会大会2011
Passive type Horizontal Display
超音波振動による摩擦係数変化の利用
Controlling friction coefficient by ultrasonic vibration
• スクイーズ効果：高周波振動で摩擦係数が減少する
Squeeze effect: friction is reduced by high freq. vibration
• 指位置計測と組み合わせ、摩擦係数の提示が可能
Combined with pos. sensing, friction distribution is displayed.
•
•
Nara et al., “Surface Acoustic Wave Tactile Display”, IEEE CG&A, 2001.
Winfield et al., “TPaD: Tactile Pattern Display Through Variable Friction Reduction", World Haptics Conf. 2007
TPaD(Laura Winfield, 2007)
http://lims.mech.northwestern.edu/projects/TPaD/index.htm
Passive type Horizontal Display
高圧電極と皮膚の電気的吸引利用
Using adhesion between skin and electrode by high
voltage
Kaczmarek et al., “Polarity Effect in
Electrovibration for Tactile Display,” IEEE Trans.
Biomedical Engineering,, 2006.
Olivier Bau et al., “TeslaTouch: Electrovibration for
Touch Surfaces,” UIST2010
TeslaTouch (2010)
http://www.teslatouch.com/
電気刺激により神経活動を再現
Reproducing Nerve Activity by Electrical Stimulation
脳内解釈された刺激点
Sensation point
神経発火点
Stimulation point
•利点：エネルギー効率／機械的脆弱性・共振特性から開放
•課題：空間的なマッピング・選択刺激の実現
•Good point: Energy efficienty, no mechanical parts so
mechanical resonance free.
•Bad point: Stimulation point and Sensation point is different
皮膚表面からの電気刺激
Electrical Stimulation from Skin Surface
神経末端の刺激され易さから空間マッピング実現
各受容器の神経配置の特徴を利用した選択刺激
Electrical Stimulation from Surface: Stimulate Nerves directly.
If we can “Selectively” Stimulate the Nerves, we can generate ANY tactile
Sensations.
Just Like we make colors by mixing primary colors.
梶本「 皮膚感覚神経を選択的に刺激する電気触覚ディスプレイ」 電子情報通信学会誌, 2001.
神経束への電気刺激
Stimulation to nerve bundle
•埋め込み型マトリクス電極。神経再生時に電極を
通過して学習による空間マッピング．
•福祉用途
•Matrix electrodes (holes) are embedded, and
nerve will grow into the holes.
鈴木「 神経再生型電極に関する研究」 東京大学博士論文, 1998
Tactile AR
触覚のAR？／Tactile AR?
新しい人工受容器として機能
触覚ARとしての乳がん診断具／
Breast Cancer Checker as Tactile AR
乳がん自己診断具／Checking Breast Cancer
潤滑オイルの入った袋ごしに撫でると、表面のテクスチャに依存せ
ず内部のしこり(腫瘍、tumor)を知覚できる
Rub breast through oil-contained thin plastic bag. The oil
reduces surface texture, and internal tumor can be observed
触覚のAR：触覚コンタクトレンズ
Tactile Contact Lens as Tactile AR
佐野他：触覚コンタクトレンズ (ROBOMEC’04)
触覚のAR／Tactile AR
オプタコン: 視触覚変換装置／Optacon：Vision-Tactile Converter
Kajimoto et.al, SmartTouch, SIGGRAPH2003.
視覚-触覚変換
Vision-Tactile Conversion for the blind
– Collins, “Tactile television - mechanical and electrical image
projection,” IEEE Man-Machine Systems, 1970.
Forehead Retina System
電通大 梶本
電気刺激：小型、軽量、低消費電力
→携帯型視覚触覚変換装置の開発
簡便な触覚AR：クリック感の付与
Simplest Tactile AR: Adding Clicking Sensation
クリック音のかわりに短時間の振動を与える。
接触という元の触覚にクリック触覚が追加されているという意味で触覚AR？
Fukumoto et al., Active click: tactile feedback for touch panels CHI2001
皮膚受容器の特性を生かしたディスプレイ
受容器活動再現型ディスプレイ
Reproducing Receptor Activity
歪到達深度調整による選択刺激(従来の上下に「引っ張り」付与)
Depth Selective Stimulation by vibrators’ paired movement
Asamura,”A method of selective stimulation to epidermal skin receptors for realistic touch feedback,” IEEE VR, 1999.
周波数特性に着目した受容器活動再現
Reproducing Receptor Activity by Frequency
受容器の共振周波数を利用
Utilizing each receptor’s resonant frequency
Konyo, “Tactile feel display for virtual active touch,” IEEE Int. Conf. Intelligent Robotics & Systems, 2003.
ひずみエネルギー再現に着目した受容器活動再現
Reproducing Receptor Activity by Strain Energy
空気吸引による圧覚生成／Using air suction
吸引と押下で，受容器位置に生じる歪エネルギーが同じ→人は区
別できない
Suction and push produces the same amount of strain energy,
so that human cannot distinguish.
Makino “A cutaneous feeling display using suction pressure,” SICE Annu. Conf., 2003.
物体の固有振動再現

接触時に起きる
物体の振動を提示

振動によって材質の違いが
表現可能
力覚インタフェースで提示可能
⇒特殊なデバイスを必要としない

Allison.M.Okamura
力覚提示
How to reconstruct the world?
• Reconstruct Shape
– 遭遇型／Encounter Type
– High Cost, but free hand
– True “Contact”=Natural Tactile Sensation
• Reconstruct Hand Shape
– 装着型・把持型／
Wear Type, or Grip Type
– Low Cost but must equip
– Most Commercial Haptic Interface
遭遇型／Encounter Type(1)
Active Environment Display (Tachi et al., 1994)
S. Tachi, T. Maeda, R. Hirata and H. Hoshino: A Construction Method of Virtual Haptic Space, Proceedings
of the 4th International Conference on Artificial Reality and Tele-Existence (ICAT '94), pp.131-138, Tokyo,
Japan (1994.7)
http://tachilab.org/modules/projects/aed.html
Encounter Type II TELESAR II master hand (2005)
• Space between finger and display is kept
constant.
• When Virtual Object contacts, it is displayed.
Flexion
Extension
No Contact!
Syuhei Nakagawara, Hiroyuki Kajimoto, Naoki Kawakami, Susumu Tachi and Ichiro Kawabuchi: An EncounterType Multi-Fingered Master Hand Using Circuitous Joints, ICRA2005
TELESAR II master hand
TELESAR II master hand (thumb)
How to reconstruct the world?
• Reconstruct Shape
– 遭遇型／Encounter Type
– High Cost, but free hand
– True “Contact”=Natural Tactile Sensation
• Reconstruct Hand Shape
– 装着型・把持型／
Wear Type, or Grip Type
– Low Cost but must equip
– Most Commercial Haptic Interface
Wear Type: CyberGrasp/CyberForce
http://www.youtube.com/watch?v=Td7QcAgCtWE&feature=fvw
Wear Type(２)SPIDAR-8(WALAIRACHT et al., 1999)
• (left) 4 finger, (right) 4 finger
• One finger is pulled by 3 wires
Somsak WALAIRACHT, Yasuharu KOIKE, Makoto SATO: `A New Haptic Display for Both-Hands-Operation: SPIDAR-8′, ISPACS’99
対向型多指触覚インターフェイス(Kawasaki et al.)
Five-Fingered Haptic Interface
http://www.youtube.com/watch?v=XxlYY0xo4gk&feature=related
Wear Type(３) Electrical Stimulation
•
•
•
•
拮抗筋の電気刺激で抵抗力を提示
軽量。ただし刺激場所での触覚も生じる
Antagonist Muscle is electricall stimulated.
Light weight, but strong tactile sensation also.
IVRC1993
（参考）指を動かす筋肉／Muscles for fingers
•
•
•
•
手外筋：前腕中にあり大まかな動きを担当
手内筋：掌中にあり細かな動きを担当
Extrinsic hand muscles: Large & coase finger motion
Intrinsic hand muscles: Small & fine finger motion.
http://www.kayatsuri.co.uk/guitar/mechanic/mechanic3.htm
機能的電気刺激
Functional Electrical Stimulation
http://www.youtube.com/watch?v=4HazUyV0X
主にリハビリテーションで用いられる。
日常生活の補助（＝長期的な刺激）にはなお課題。
Mainly used in rehabilitation.
Several problems remains for long-term stimulation.
(参考) 外骨格型パワーアシスト Power support by exoskeleton
http://sanlab.kz.tsukuba.ac.jp/r_hal.
php
筑波大学山海研究室 HAL
General Electric “Hardiman” (1965)
How to reconstruct the world?
• Reconstruct Shape
– 遭遇型／Encounter Type
– High Cost, but free hand
– True “Contact”=Natural Tactile Sensation
• Reconstruct Hand Shape
– 装着型・把持型／
Wear Type, or Grip Type
– Low Cost but must equip
– Most Commercial Haptic Interface
Grip type(1)PHANToM (SensAble)
最も有名なハプティックデバイス。6自由度をサポート
指サックタイプも開発されたが多くはペングリップタイプ
Most Famous Haptic Interface with 6DOF
Fingerstall type was developed, but most are pen-grip type
Massie T. H., Salisbury J. K., “The PHANTOM Haptic Interface: A Device for Probing Virtual
Objects,”Symposium on Haptic Interfaces for Virtual Environmet and Teleoperator Systems, 1994.
装着型と把持型の小さくて大きな違い
Small but significant difference between wear type and grip type
• 装着型／Wear type：
– 指ごとにサポートする必要
Each finger must be supported
– 古典的VR/ Classical VR
• 把持型／Grip type：
– ｢ペン」等の類推の利く道具に対して力提
示（道具再現型）．指への力提示は間接的
Force is presented to “Tool”, and
presentation to hand is indirect.
– 現実的解/
Practical solution for many applications
Grip type(1)PHANToM (SensAble)
http://www.youtube.com/watch?v=u9jdhUvOmMw&feature=related
Omega (force dimension)
http://www.youtube.com/watch?v=Oh7saN3hI68
Falcon (Novint)
http://www.youtube.com/watch?v=mW70elK9Yrs&feature=rela
ted
• 格安ハプティックデバイス。ゲーム用途で販売
• Very cheap haptic device is sold for gaming use
SPIDAR-G
Magrev
http://www.youtube.com/watch?v=cMi75SrDbsk&feature=related
Large Field Haptic Display
Antonia Perez (2009) A NOVEL HAPTIC INTERFACE FOR EXTENDED
RANGE TELEPRESENCE: CONTROL AND EVALUATION
http://www.youtube.com/watch?v=J3KVekC9_Mg&feature=related
HapticMaster (MOOG FCS)
http://www.youtube.com/watch?v=tgGEcE1VS6I
Van der Linde R.Q., Lammertse P., Frederiksen E., Ruiter B(2002) The HapticMaster, a new high-performance haptic
interface
•
産業用ロボット的なバックドライバビリティのない剛構造＋力センサ
•
Rigid structure without back-drivability, like industrial robot. With force
sensor
軽く作るかしっかりつくるか?
Make it light, or make it rigid?
• バックドライバビリティ / back-drivability
＝出力軸を直接動かせるかどうか
Whether output shaft can be moved directly
•
•
通常の歯車/ Ordinary gear
バックドライバビリティ有．ただしギア比が大きいほど減少
（1:50程度）
Back-drivable, but reduced if gear ratio is higher.
ウオームギア/ Worm gear：
バックドライバビリティ無
Not back-dribable.
ハプティックインタフェースは出力軸を直接触るから、バックドライバブルかどうかで制御方式
が変わってくる。
As Human handles output shaft directly, control method is closely related to
back-drivability
軽く作るかしっかりつくるか? Make it light, or make it
rigid?
• 「軽い」装置：
– ワイヤ駆動等．低ギア比．
– バックドライバビリティ有）
• 「固い」装置：
– 産業用ロボットなど．
– 高ギア比．ユーザは動かせない．
– ハンドル先端の力センサに応答．
「軽い」装置の制御方法
How to control “light” haptic interface?
mx  f  cx  kx
インピーダンス型の制御手法
•
•
•
手先の位置を計測．
位置や速度に応じた力を出力．
手先が壁にめり込むところから開始するから，力覚ディスプレイは操作者の
力だけで動かせる必要＝バックドライバビリティ有
Impedance based method
•
•
•
Measure grip position.
Output force according to the position and velocity.
As in the first step, position must be changed by the user, the haptic
interface must be back-drivable.
「堅い」装置の制御方法
How to control “rigid” haptic interface?
mx  f  cx  kx
アドミッタンス型の制御手法
• 操縦者の力を計測
• その力に基づき，手先がどう動くか計算。その軌道を出力．
• 手先に力センサ必須だが，バックドライバビリティは不要，産業用ロボット等の固い装置を
利用可能
Admittance based method
• Measure operator’s force
• Calculate world’s behavior according to the force, and change position of the grip.
• Force sensor is necessary, but back-drivability is not. Rigid robot can be used such
as industrial robot.
力覚レンダリング
力覚提示のためのモデル
• 形状の提示
– 侵入量に比例した力
• 慣性・重力の提示
– 物体を運動方程式に従って動かす
– 物理ベースモデリング
形状の提示
• 力覚制御の処理ループ
Virtual World
Force display
2
F=kx
1. 指の位置を計測
2. 衝突判定と提示力の計算
3. 力を出力
1
3
高速制御の必要性
指位置
仮想物体の外
仮想物体の中
処理
time
1 2
3 1 2
侵入しすぎ
3 1 2
3 1 2
3 1 2
大きすぎる反力
3 1 2
3
高速制御の必要性
指位置
安定な接触
物体の外
物体の中
処理
time
123123123123123123123123123
安定な接触には１kHz 程度の高速な制御ループが必要
グラフィックは30Hz-60Hz
形状の提示
• 力覚による形状提示
– 侵入距離に比例して力を出す
力覚ポインタ
＝VR世界内で、
力覚インタフェースに
対応するもの
×力の向きが突然変わる
形状の提示
• Proxy (God Object)法
Proxy
力覚インタフェース
の位置
– Proxyの動き
• 力覚インタフェースにできるだけ近づく
• 物体の内部には侵入しない
摩擦力の提示
• Proxy法に摩擦提示を加える
Friction cone
0

静止摩擦力 < 0n
0 = tan0
= tan
6自由度力覚提示
• 任意形状同士の接触を提示
– 点群
• 力覚ポインタを点群で表す
– 凸多面体同士の接触体積
• 力覚ポインタと物体形状を凸多面体の組み合わせで表す
– Virtual Coupling
• 質量を持つProxyと力覚インタフェースがバネ・ダンパでつながっ
ていると考え、運動をシミュレーション
– ６DOF Proxy
• Proxyの質量→0の時の運動を考える
点群による方法1 (McNeely et.al. 1999 (Boeing))
• 物体→Voxel(b), ポインタ→点群(c)
• Voxelの中心からの侵入距離
だけ力が働く
• Virutal Coupling で、ポインターを動かす
点群による方法2
(足立ら (鈴木自動車))
• ポインタ→点群、物体→3角形メッシュ
• 3角形の辺に壁を立て、
壁に囲まれた点の侵入量
に比例した力を出す
凸多面体同士の接触体積
長谷川晶一・佐藤誠 2004
凸多面体同士の接触体積
長谷川晶一・佐藤誠 2004
• 物体を凸多面体で表す
• 交差部分の形状（体積）
を求める
• 体積を積分して提示力
を求める
3角形ごとに積分
なぜ，凸形状
• 一般には，極小は簡単，
• 最小は難しい
凸形状は極小が一つ
極小＝最小
凸形状
非凸形状は極小が複数
極小
極小
極小
最小
非凸形状
非凸は凸の
組み合わせに
分解
接触解析
• 接触部分= 2つの凸多面体の交差部分.
• D. E. Muller and F.P.Preparata:
“Finding the intersection of two convex” (1978)
– 2つの凸多面体と交差部分上の1点が与えられたとき，
– 交差部分の形状を求める
134
接触解析（２）
• 接触領域の頂点の計算
– 双対変換：面を点に、点を面に変換
双対変換
O
n
O
1
n
接触解析（３）
• 接触領域の頂点の計算
内部の点
共通領域
の頂点
半空間表現
双対変換
双対変換
3角形ごとの積分
p2
p3 p3
h3
抗力バネモデルによる力
f  k  hpndS
h2
p1
ptri
1
 k (h1 h2  h3 ) n
3
抗力バネモデルによるトルク
τ  k  p  hpndS
ptri
1
 k ((h1 h2  h3 ) (p1 p2  p3 ) 3(h1p1 h2p2  h3p3 ))
36
137
Virtual Couplingによる方法
• 質量を持つProxyと、力覚インタフェースを
3自由度並進と3自由度回転の
バネダンパでつなぐ
力覚インタフェースの位置
Proxy
• 運動を動力学シミュレーション
6自由度Proxy法
• Virtual CouplingのProxyの質量→0とする
１
２
３
２の状態にならずに、一瞬で３に移行する
中間表現と階層的な力覚レンダリング
• 全体を
高速更新
シミュレータ
力覚インタフェース
力
位置
高速更新(1kHz)
• 中間表現を利用
シミュレー
ション
中間表現
(形状特徴)
指位置
と力積
低速更新 (20Hz)
力覚
レンダラ
力覚
インタフェース
力
位置
高速更新 (1kHz)
• 動き始めの遅れも補償する局所シミュレーション方式
(須佐ら 2009)
http://www.youtube.com/watch?v=5kFMNyeKTyE