（法政大学）: 認知映像論の射程

22G-05
認知映像論の射程
金井 明人
法政大学社会学部メディア社会学科
1
はじめに
筆者は 2007 年から「認知映像論」という専門科目を勤務校にて開講している．本稿では，認知映像
論の現状と可能性の射程について論じてみたい．
認知映像論という言葉は，認知科学においても，メディア論や映像論においても，定着しているとは
いえない．だが，映像は認知的な要素抜きには成立しないので，既存の，映像に関する研究の全ては，
広い意味での認知と関連していると言える．
映像を離れても，認知活動が，イメージや表象，環境との関係において成立しているとすれば，認知
科学が扱う全ての領域を認知映像論として論じることもできるであろうし，映像的な観点は，計算・記
号主義とも身体主義とも異なる認知科学につながるかもしれない．
まずは，映像論と認知科学の交わる部分が認知映像論の射程であるといえようが，それらの和集合，
さらにはその可能性も含めた全ての領域が，認知映像論の射程であるといえよう．
認知修辞学や認知物語論，認知詩学，認知記号論など，関連する領域は多いが，既存のそれらの認知
科学的研究の多くは修辞・物語・詩学・記号の言語的側面と認知の関係が中心になっているので，それ
らとは別に，映像自体から認知を問い直していくことも重要になるだろうし，そこから修辞・物語・詩
学・意味論を再考することも可能になる．
2
認知映像論の中心テーマ
認知映像論において，最も中心になるテーマは，映像の物語・ストーリーや修辞と，受け手および送
り手の関係の解明であり，その認知および映像構成のモデル化である．受け手の認知をメインにした
様々な認知科学的な映像研究は今までにもアメリカやオランダを中心に数多く存在するが，それを更
に，映像や送り手に関する観点も含め，拡張するのが認知映像論の特徴である．
映像を見るにあたって，人はその全てを認知することは不可能であるため，その一部をある視点か
ら見て，そしてその見た中の一部を記憶し，関連付けを行っていくことになる．そのプロセスには，
ストーリーと，それに関連したスキーマ，志向性が関わっている．ストーリーが完全に存在しない映像
も存在するが，その映像もストーリーとの距離から受け手は認知を行なうことになる．受け手は，ス
トーリー的な処理を切断または緩和することで，ストーリー以外の観点から認知的な処理を行うこと
になる．さらに，映像にたとえ，ストーリーがほとんど存在していないとしても，時間的構造は必ず存
在するため，そこに広義の物語が生じる．それも受け手の認知的制約との関係から捉えられる (金井,
2001a)．
受け手には映像を「見る瞬間」のプロセスと「見た後」のプロセスがあり，それが同時に成立しつ
つ，相互作用していくことで映像認知は成立する．時には，そのプロセスの連続性が切断される．見る
瞬間のプロセスが切断される場合も，見た後のプロセスが切断される場合もある．そこには，切断技法
と名付けることができるであろう，映像の修辞が関係している (金井, 2005)．
一方，送り手側も，受け手のストーリー構築を前提にしなければ，映像を制作することができない．
映像中でショットを分割したとしても，受け手にその内容が伝わるのは，受け手のスキーマなど，様々
な認知的能力のためである．認知映像論では，なぜ多くの受け手に同じ様に伝わる映像が存在するのか
1
を説明できる．だが，だからこそ，この受け手中心の立場のみからではなく，映像中心でも，認知映像
論は論じられる必要がある．受け手中心の立場からでは，分析が受け手の認知的な制約に過剰に縛られ
てしまう．既存の映像に関する認知科学の研究成果や，認知科学を利用した映像論，さらには認知物語
論なども，ほとんどがこの立場から行われているといえようが，それでは，多くの受け手に同じ様に伝
わるタイプの，制限された映像および物語を扱うことしかできない．しかし，ドゥルーズ (1991) が示
したように「映画はコミュニケーションとはいかなる関係も持たない」ともいえ，均一的な伝達とは異
なる映像の側面も重要である．
以上のように，認知映像論は，受け手の視点設定と処理の制約および認知的効果と，映像の（広い意
味での）物語構造および修辞の関係をその中心テーマとする．特に，その関係に変化や強度を与える要
因を「切断技法」とし，ストーリーの弁証法的な力と，その切断を中心に捉える．これによって，映像
の非伝達的な側面も含めた様々な可能性と認知的効果を論じることができる (金井・小玉, 2010)．
また，以下は，金井 (2001b) など，認知映像論を論じるにあたって，中心としてきた用語である．
映像の修辞 映像の送り手のある目的に基づく映像技法の組み合わせ．
S （ストーリー）タイプの映像の修辞 全体で一貫した物語内容を表象する目的で構築されている映像
の修辞．
NS 映像の物語内容以外の側面の総称．非ストーリー．ノンストーリー．
NS （ノンストーリー）タイプの映像の修辞 全体で一貫した物語内容の表象を目的とせず，「視覚的・
音響的な状況」の構築が目指されている映像の修辞．
視点 映像を見るにあたっての受け手の関心事．
視点の再設定 受け手が映像を見る途中で，関心事を新たな事項に変更すること．
スキーマ 入力情報を選択組織して，統合された意味ある構成にするものであり，人が，情報をどのよ
うに貯蔵するかに関連するにあたって内的に用いるもの．
切断技法 映像に NS 的要素を導入するための修辞技法．
戦略的共通要素 連続するショット間で意図的に共通させている要素．
戦略的変化要素 連続するショット間で意図的に変化させている要素．
物語 一つ以上の事象の報告のこと．これを更に拡張すれば，時間に関わる要素を一つ以上持つもの全
てとなる．ナラティブ．
物語言説 テクストそれ自体．ディスコース．
物語スキーマ 物語内容の理解に関わるスキーマの総称．
物語内容 顕在的または潜在的な, 物語上の出来事の全て．ストーリー．
物語内容処理 受け手が「事象」に視点設定して映像認知を行なう場合の受け手の処理の総称．
物語内容理解に関する制約 受け手が映像のショットの連鎖を一貫した物語内容として心的に再構築し
ようとする性質．
物語内容理解に関する制約の緩和 受け手が一貫した物語内容の理解をしなくても良いような状態．
2
3
認知映像論の基盤となる物語構造
映像の修辞から直接生じる認知的効果の発生要因は，以下の 4 つに分類できる (金井・小方・篠原，
2003)．
・ 一つ一つのショット上の要素
・連続したショットにおける，要素の共通性
・連続したショットにおける，要素の差異
・映像全体における，ショット上の要素間の関係
これらは認知映像論の基盤となる物語構造と関連している．ストーリー，ディスコースや修辞も，一
つ一つのショットにおける人物・時間・空間および行為がショット間の共通性と差異および全体の関係
にどのように配置されるかから捉えられるし，そこからの逸脱も同様の観点から捉えることができる．
これによって，ストーリー的な修辞，ストーリー以外に関する修辞，ストーリーの切断に関する修辞の
いずれをも捉えることができる．
さらに，規範や素材となる映像を想定し，そこからの操作によって，映像の修辞のコンピュータ的な
構成を捉えることもできる (内海・金井, 2007)．
受け手の認知も，映像上の要素の何を中心に関連付けを行うかに関する「視点」の観点から捉えるこ
とができ，一つの映像作品に対する認知プロセスも，ストーリーやディスコース，修辞に対する視点の
移行の観点から捉えることができる (金井, 2008a)．
4
認知映像論の課題
視点と切断技法，物語構造とそのコンピュータへの適用は，さらに例えば以下のテーマにおける認知
的効果と関連し，未解決な課題も多いが，様々な実験的な考察を行っている．
●視点をめぐって
• ジャンル認知とその固有性 （映画内のジャンル，広告・予告編，ミュージックビデオ，ビデオ
アート，アニメーション，スポーツ中継など）
• ドキュメンタリーとフィクション
• 作品タイトルの認知への影響
• ゲームなど操作性のある映像における認知と行為
• 映像上の色と記憶・連想
• テレビ番組とテロップ
• 映像における表象不可能性
●切断技法をめぐって
• 「違和感」・「わかりにくさ」と「退屈」
• 映像と音の同期・非同期
• 編集・演出・撮影・音における特異な修辞の分類
3
• リアリティの発生
●物語をめぐって
• 虚構世界の成立
• 物語の多重性
• 映像による恐怖・不安など様々な情動・感情の発生および実世界との関連
• 映像全体におけるストーリーと切断の配置
• 映像の長時間・長期間認知による陶酔・中毒性
●映像上の要素をめぐって
• 文学との関係
• 言語との関係
• 作品テーマとその表象
• 映像と比喩
• 受け手の認知的錯覚
• 映像と表象不可能性
• 映像の解像度
●コンピュータをめぐって
• 映像を介したコミュニケーションとインターネット上の展開
• CG・ VFX や 3D とその認知
• ストーリー・切断技法のコンピュータ制御
• ユビキタス化された映像やマルチモニターにおける映像
5
認知映像論における身体・環境
前章で挙げた項目の他に，重要になる項目として，身体と環境に関するものがある．とはいえ，身体
を中心にした一般的認知基盤を基にした認知意味論やそれを応用した認知物語論とは異なり，認知映像
論では身体や環境も，あくまでも映像の修辞との関連で捉え，身体中心でも記号・計算中心でもない立
場をとる．
映像を見る行為は，身体との関わりの上で特殊である．例えば，映画館では，身体を固定し，暗い閉
ざされた部屋で，操作可能性もなく，多くの人と共に映像に接することになる．そして，映写機によっ
て投影される，コンピュータにより生成されていたり，カメラを通して捉えられた，根本的には非中枢
性の高い画像を見ることになる．映像の非中枢性に対して，それをより，人の側に近づけるか，機械の
側に近づけるか，自然に近づけるか，またはそれらを融合するのか，様々なアプローチが考えられる．
そして，それぞれのアプローチの認知的効果は日常の認知活動と，その蓄積からの距離が影響する．
4
金井 (2008b) で論じているように，映像環境は映像と，そのフレーム，フレーム外の 3 つに分けて
修辞的に分析できる．ここで，それらを関連付けるにあたって，重要になるのが，受け手の身体の大き
さ，および姿勢になる．このような，映像環境と身体の関係を考えるにあたっては，生態学的視覚論に
おけるアフォーダンス (Gibson, 1979) や，それを発展させた議論 (Anderson, 1996; 佐々木, 2007) が
参考になるが，アフォーダンスの定義自体は映像との関連では拡張する必要がある．映像の修辞の議論
では，その切断や非生態学的妥当性も重要になるためである．
6
おわりに
認知映像論は，（広義の）認知科学が扱う領域の全てが関連しているといえるので，認知科学が未解
決の問題は，当然ながら認知映像論でも未解決である．
認知映像論では，映像中のある部分，または全体に関する，認知と物語の強度や固有性を扱うことが
大きな課題となるが，その強度を測定できるのか，という問題がある．これは映像に限らず，認知にお
ける様々な意味や質感に関する議論とも関連している．
また，強度は受け手の立場からの測定のみでは，「退屈」なども関連してくるため，うまく捕らえる
ことができない．送り手あるいは映像の強さとしても論じることが必要になる．
参考文献
[1] Anderson, J . D . (1996). The Reality of Illusion. An Ecological Approach to Cognitive Film
Theory. Southern Illinois University Press.
[2] ドゥルーズ，ジル (1991). 映画はコミュニケーションとはいかなる関係ももたない. 『表象 ルプ
レザンタシオン』, 001, 151–157.
[3] Gibson, J . J . (1979). The Ecological Approach to Visual Perception. Houghton Mifflin.
[4] 金井明人 (2001a). 映像の修辞に関する認知プロセスモデル. 『認知科学』, 8(2), 139–150.
[5] 金井明人 (2001b). 映像修辞と認知・コンピュータ. 『認知科学』, 8(4), 392–399.
[6] 金井明人・小方孝・篠原健太郎 (2003). ショット間の同一性と差異に基づく映像修辞生成. 『人工
知能学会誌』, 18(2-G), 114–121.
[7] 金井明人 (2005). ストーリーと切断技法の映像認知における役割. 『メディアコミュニケーション
その構造と機能』. 石坂悦男・田中優子 (編), 69–90, 法政大学出版局.
[8] 金井明人 (2008a). 映像編集の認知科学. 『映像編集の理論と実践』. 金井明人，丹羽美之（編）,
法政大学出版局， 13-38．
[9] 金井明人 (2008b). 映像環境の修辞学へ. 『日本認知科学会 文学と認知・コンピュータ研究分科会
II (LCCII) 第 14 回定例研究会 予稿集』, 14W-02.
[10] 金井明人・小玉愛美 (2010). 映像編集のデザイン −ストーリーと切断をめぐって− 『認知科学』,
17(3), (印刷中).
[11] 佐々木正人 (編) (2007). 『包まれるヒト ＜環境＞の存在論』. 岩波書店.
[12] 内海彰・金井明人 (2007). 認知修辞学の構想と射程. 『認知科学』, 14(3), 236–252．
5