AlvaroCassinelli University of Tokyo Takahito I to

A lvaro Cassinelli
University of Tokyo
Takahito Ito†
University of Tokyo
Masatoshi Ishikawa‡
University of Tokyo
T he K hronos Projector is an interactive-art installation that allows
people to visualize movie content in an entirely new way. B y actually touching and deforming the projection screen, the user can
send portions of the image forward or backward in time.
W hen we view a still image or a motionless sculpture, we are free
to direct our sight wherever we want over the entire work, perhaps
only subliminally compelled by the compositional forces the author
has instilled in it. T his is barely possible when we view a movie,
because we are forced to adopt a unique point of view both in space
and time.
T hanks to the K hronos Projector, space and time can be unlinked in
a pre-recorded movie. Causality becomes relative to the spatial path
we decide to follow on the screen, which allows for multiple interpretations of the pre-recorded facts. In this sense, the K hronos Projector is an exploratory interface that transforms a movie sequence
into a spatio-temporal sculpture for people to explore at their own
pace.
T he K hronos Projector frees both l mmakers and audiences from
the constraint of a pixel-ubiquitous time arrow. During a K hronos
projection, we cannot change the nature of the pre-recorded events,
but the perspective, the way we perceive their temporal relationship.
We are at the same time spectators of x ed movie content and, in a
strong sense, directors of a personalized post-production process.
T he K hronos Projector is also a suggestive tribute to E instein’s T heory of R elativity: the temporal relationship between two physically
separate events is a perception relative to the observer. T his is
not, however, a serious platform for recreating any typical relativity paradox, because the interactive projection infringes one fundamental law of nature: although it is true that temporal relationships
are relative to the observer’s inertial frame, causality is not relative.
Two events that are in causal relationship should therefore always
maintain their temporal order. T he K hronos Projector breaks this
rule, but this is precisely what makes the experience interesting and
fun.
From the technological point of view, the goal of this installation
is to demonstrate a prototype tangible human-interface that tightly
combines visual display and the sense of touch.
T he spatio-temporal fusion algorithm is the core of the K hronos
program: it consist on blending hundreds of images from a movie
e-mail: alvaro@ k2.t.u-tokyo.ac.jp
e-mail: takapito@ k2.t.u-tokyo.ac.jp
‡ e-mail: ishikawa@ k2.t.u-tokyo.ac.jp
†
Figure 1: K hronos tissue-based screen.
sequence to produce a unique displayed image. T he blending operation is controlled by interactively shaping a ”spatio-temporal
membrane”, which is a ”cutting” surface lying inside the spatiotemporal volume of the movie (sometimes called the ”video-cube”).
T he spatio-temporal membrane is shaped using a parametric model
that feeds on data resulting from the continuous scanning of a deformable screen made from spandex ber. Scanning is done using
a special illumination con guration and a proprietary ”vision chip”
that computes in real time both the magnitude and localization of
the pressure exerted by the user hand (Fig.1). T he membrane then
relaxes ”naturally”, producing ”spatio-temporal waves” all over the
image.
Presently, even the lmmaker who is less devoted to linear narratives is forced to integrate a screen-ubiquitous time arrow as a fact
in their work. B ut imagine a version of Hitchcock’s ”R ear Window” especially tailored for being ”K hronos-projected”: the audience would be able to go backward or forward in time at the desired
window - literally. T he movie would contain several possible interleaved stories, depending on the way the space-time volume is explored. T he K hronos Projector also allows exploration of otherwise
conventional movie content, producing interesting, cubist-like dynamic images. People may bring to the installation their own short
movie sequences and experience rst hand their K hronos interactive projection.
Finally, it is interesting to note that the K hronos Projector deformable screen may represent an interesting human-computer interface per se, for den ing and visualizing arbitrarily shaped slices
of volumetric data - in particular scanned medical images. It could
be a starting point for developing a pre-operatory interface capable
of showing internal body sections mapped onto complex surfaces,
displaying them just as they would appear to the surgeon during the
actual operation. Surgeons could ”see” inside a virtual body during
pre-operatory work by ”pushing” their hands against a deformable
projection screen, instead of being limited to a set of (interactive)
planar cuts, as they are now.
アルバロ カシネリ
東京大学
伊藤 崇仁†
東京大学
石川 正俊‡
東京大学
はじめに
‘ K hronos Projector ’は既存にはない手法により、映像コンテ
ンツを見せることができるインタラクティブインスタレーショ
ンである。ユーザーは、実際に映像の投影されたスクリーンを
触り、変形させる操作により映像の一部分の時間を進ませたり、
戻したりといったことが実現できるのである。
我々は、静止画や動きのない彫刻作品を見る際、作者によっ
て元々組み込まれた潜在的な力により、無意識に視線を拘束さ
れる場合を除き、作品全体の見たい部分を自由に注視している。
しかし、映像を見る際にはこの点において困難が生じる。な
ぜならば、空間と時間両方を同時にその映像固有の観点に拘束
されるからである。
この点において、我々のシステムは、あらかじめ録画された
映像の空間と時間の連鎖を切り離すことができる。因果関係は
ユーザーの意志でスクリーン上を進むと決めた空間パスに従い、
ユーザーに相対的なものとなるのである。その結果、あらかじ
め録画されている事実を多角的に解釈することが可能となる。
こういった意味でも、
‘ K hronos Projector ’は一連の映像を、人々
が時間、空間の両面から自分のペースで探索できる、
‘ spatiotemporal sculpture（時空間的な性質を持つ彫刻）’へと変換する
試験的インターフェイスと言える。
研究意義
‘ K hronos Projector ’は映画製作者と観客の両者を、「１つの
瞬間において画面のどこでも同じ時間である」という制約から
開放するものである。
‘ K hronos Projector ’により映像を投影している間、あらかじ
め録画されている事象の性質を変化させることはできない。し
かし、我々は事象それぞれの時間的な関係を知覚することで、
観点を変えることができるはずである。自らを決まった映像コ
ンテンツの観客であると同時に、撮影後独自に編集作業を行う
監督にし得るのである。
また、
‘ K hronos Projector ’はアインシュタインの相対性理論
への賛辞を示唆している。ここで言う相対性理論とは、物理的
に離れた空間で生じる２つの事象の時間関係は観察者に対して
相対的であるという理論である。しかし我々のシステムは、よ
り根本的な１つの自然原則に反するため、単に典型的な相対矛
盾を現実世界に再現するためのものではない。その原則とは、
因果関係にある２つの事象はそれらの時間順序に従うというも
のである。
‘ K hronos Projector ’がこの規則を破ること、これは
まさに経験を興味深く、楽しいものにしているものは何かを示
している。
技術的観点から見ると、このインスタレーションの目的は、
視角ディスプレイと触覚を密接に結びつける接触型ヒューマン
インターフェイスを実現することである。
e-mail: alvaro@ k2.t.u-tokyo.ac.jp
e-mail: takapito@ k2.t.u-tokyo.ac.jp
‡ e-mail: ishikawa@ k2.t.u-tokyo.ac.jp
†
Figure 1: K hronos tissue-based screen.
技術的詳細
本研究のプログラムの核は、時空間融合アルゴリズムである。
このプログラムはユーザーの操作に基づく独自の画像を生成す
るために、連続する映像から得られる数百枚の画像を融合する
ものである。融合操作は、インタラクティブに‘ spatio-temporal
membrane（ある時空間から成る膜）’を生成することで決定さ
れる。これは、映像の時間と空間から成る立体を切断した表面
（‘ vido cube ’としばしば呼ばれる。）のことである。
‘ spatio-temporal membrane ’は、スパンデックス繊維ででき
た変形可能なスクリーンを連続的に走査し、その結果データに
基づくパラメータモデルを元に形成される。走査は特別な照明
配置と、ユーザーの手によって押された圧力部の大きさと位置
をリアルタイムに算出する‘ vision chip ’を用いて行われる。図
1 の表面は、画像全体に‘ spatio-temporal waves（時空間におけ
る波）’を作りながら、自然に弛緩している。
結果
単純な時間軸に沿っただけのストーリーを好まない映画製作
者でさえ、スクリーンに偏在する時間の進行方向を製作上、統
合するしかない。しかし、ヒッチコックの‘ 裏窓 ’が K hronos
を投影できる特別仕様であるならば、観客は希望の窓で、まさ
に希望通りに時間を行ったり来たりすることができるであろう。
この映画の物語は白紙であり、時空間立体をどのように探訪す
るかによって、異なる物語を生み出す可能性を持つ。
‘ K hronos
Projector ’はまた、他の既存の映像コンテンツ操作をユニーク
に、video cube のような動画像を生成しながら行うことができ
る。人々はこのインスタレーションに自分の連続した短い映像を
持ち寄り、まず最初に手でそれらのインタラクティブな K hronos
による投影を体感するであろう。
最後に、このスクリーンは、任意に加工された容積データを定
義づけ、視覚化するという点において重要な意義を持つヒュー
マンコンピュータインターフェイスであると言える。特に走査
された医療画像にとっては、実際に手術をしている外科医の視
点を再現するように配置することで複雑な体面上に体内を見せ
ることができる。現在の医療用画像の平面の切り口には制限が
あるけれども、これを用いれば、スクリーンを手で押し、手術
前に外科医達はヴァーチャルボディの中を見ることができる。