公益社団法人 日本心理学会

詳細検索

心理学ワールド 絞込み


号 ~

執筆・投稿の手びき 絞込み

MENU

刊行物

【特集】

バーチャルリアリティと感情

吉田 成朗
東京大学大学院情報理工学系研究科 助教

吉田 成朗(よしだ しげお)

Profile─吉田 成朗
2009年,富山商船高等専門学校情報工学科卒業。2012年,東京大学機械情報工学科卒業。2017年,同大学大学院学際情報学府博士課程修了。博士(学際情報学)。2018年より科学技術振興機構(JST)さきがけ研究員を兼任。情報処理推進機構(IPA)スーパークリエータ認定。グッドデザイン賞,東京大学総長賞,ACM CHI Best Paper Honorable Mention Awardなどさまざまな賞を受賞。現在の研究分野はHuman-Computer InteractionやVirtual Reality。感情体験や知覚体験を誘発する工学的装置の設計に関する研究に従事。

バーチャルリアリティ(Virtual Reality:VR)と聞いて読者の方々が思い浮かべるのはどのような光景だろう。顔面に怪しげなゴーグル(「ヘッドマウントディスプレイ」と呼ぶ)を装着して,360°の全天周映像を鑑賞したり,ゲームのような世界に入り込む体験だったりを想像する人が多いのではないだろうか。しかしながら,このようなゴーグルを通した視聴覚体験のみがVRの全てではない。

我々は多様な感覚器官(視覚,聴覚,嗅覚,味覚,触覚,体性感覚など)を通して世界を認識している。VRは,そうした様々な感覚器官に提示する情報を操作することで,現前にないものを実質的には存在しているように感じさせることを可能にしてきた。例えば,実際には何も触っていないのに何かに触れている感覚を作り出す装置や,物理的にライブやコンサートに参加しているように空間的な音響情報を再現する技術,多様な味や匂いを再現する装置というように,五感を含む人間の感覚や,それらを脳内で処理する過程である知覚や認知にまつわる情報を合成する手法や技術に関して多角的に研究が進められている。そして,このような感覚提示技術は,知覚心理学の研究を通して解明された人間の外部情報(世界)の感じ方に関するメカニズムに基づいて設計されている。

一方,筆者は感情に関する心理学研究(感情心理学)を軸に,工学的な視点から感情や感情に付随する認知の変化を誘発する手法について研究している。本稿では,(恐れ多くも日本心理学会の機関誌において,工学系の研究者が)感情心理学の研究について概観し,感情心理学の知見をVRに応用した研究例を紹介する。

「悲しいから泣く」のか「泣くから悲しい」のか

感情が生起するメカニズムについては古くから研究が続いており,その歴史を通して様々な理論が提唱・議論されてきた。近年では,脳科学・神経科学的アプローチからも研究が進められているが,感情が生起する明確なメカニズムは未だ明らかにされていない。一方で,自身の身体に起きる変化を認識することが感情の生起につながるという点に関して,複数の理論が一致した見解を示している。

その一つである末梢起源説(James, 1884)では,外部からの刺激を脳内で処理する過程で生じた,心臓の動悸や筋肉の動きの変化などの不随意的な身体の変化を知覚することが,感情の経験につながるとしている。つまり,「悲しいから泣く」のではなく「泣くから悲しい」ということである。例をあげて説明すると,人気のない夜道を歩いている最中,偶然にもお化けと遭遇してしまったとする。お化けがいることに気づくことで,心拍数が上がる,表情がこわばる,体が震える,冷や汗をかくというような,不随意の反応が身体に生じる。そして,このような身体反応を認識することで,初めてお化けに対する恐怖心を自覚するのである(図1)。「怖いから震える」のではなく「震えるから怖い」のである。

図1 末梢起源説
図1 末梢起源説

同様に,情動二要因理論(Schachter & Singer, 1962)や,ソマティック・マーカー仮説(Damásio, 1994)などの理論においても,身体反応が感情の経験に先立つというような感情と身体の逆説的な関係性や,身体反応の認識(正確には,身体反応を生起させた原因を推測する過程も含めて)を通してそれに紐づく感情を自覚することが述べられている。身体と感情の関係性を実験的に確かめた研究もあり,笑顔を作ることによって楽しさが増加するというように,表情筋の変化が感情に影響するとしている(Dimberg & Söderkvist, 2011)。

一方で,実際の身体反応のみが感情の生起に影響するわけではなく,本人のものであると偽って提示された身体反応によっても感情や判断が変化することがわかっている。「偽の心音実験」(Valins, 1966)では,本人のものであると偽って聞かせられた擬似的な心音によって選好判断が変化することが実験を通して確かめられた。これはVRの研究に携わる者にとって,とても興味深い研究内容である。感情を誘発するに際し,実際には本人の身体反応ではないものの,本人の身体反応であると感じさせる刺激を用いるという点は,まさにVR的な考え方ではないだろうか。

図2 画像処理による擬似的な表情の生成
図2 画像処理による擬似的な表情の生成

「偽の心音実験」では擬似的な心音を用いて感情の変化を誘発していたのに対し,我々は表情の変化を擬似的に作り出すことで感情の変化を誘発できるか調査した(吉田ら, 2015)。眉毛や,目,口などの顔部位の位置や形状をリアルタイムに操作できる画像処理手法を構築し,その手法を用いて表情変化のない顔を,笑顔や,悲しい顔に加工する(図2)。生成した擬似的な表情を自身の表情変化であるかのように思わせるために,表情が変わって映し出される鏡のような装置を作成した。PCディスプレイの上部にカメラが取り付けられており,カメラ映像に映る人物の表情を加工した上でPCディスプレイに表示する。そして,擬似的な笑顔や悲しい顔が自身の表情変化であるかのように提示されることで,感情状態にどのような変化が起きるか調べた。すると,擬似的な笑顔によって,ポジティブ感情が上昇し,ネガティブ感情が抑制される。対して,擬似的な悲しい顔では,ネガティブ感情が上昇し,ポジティブ感情が抑制されることがわかった。さらに,偽の心音実験と同様に,擬似的な表情が選好判断に影響を与える可能性が示唆された。2種類のマフラーを実験参加者に順に手渡し,実験装置を通してマフラーを身に着けた自分を眺めてもらう。そして,2種類のうちどちらが好きか答えてもらう。すると,笑顔に変形した際に身に着けていたマフラーのほうが,悲しい顔に変形した際に身に着けていたマフラーよりも好きになるというように,よりポジティブな感情を生起する表情が映し出されたときのマフラーを選ぶ傾向にあることがわかった。他にも,擬似的な表情につられて実際の表情も変化することがわかった。

こうした成果を論文として公開することはもちろんだが,アート作品として展示する活動も行ってきた。自分の表情と違った表情を映し出すことで感情に影響を与えるアート作品「扇情的な鏡」として,国内外を含む様々な場所で展示し,一般の来場者がその効果を体験できる機会を設けている。こうした展示の機会を通して,「体験者の身体反応を見ていると,自分の気持ちも変わった気がする」という感想があった。

他者の気持ちは自分の気持ち

人間は自分でも気づかないうちに,周囲にいる他者の感情の影響を受けている。泣いている人物を見ていると悲しくなった,嬉々として語られる話を聞いていると楽しくなった,イライラしている人の横にいるとイライラしてきた,といった経験はないだろうか。これは,他者の身体反応や感情の表出を感じ取ることで,自身も同じ感情を抱いてしまう「情動伝染」と呼ばれる現象である。情動伝染には,相手の表情や話し方,姿勢,動きなどの身体反応や感情表出を自動的に模倣・同調する過程がある。そして,前章で述べた自己の身体反応の認識による感情の生起と同じく,模倣・同調によって生じた身体反応が感情の呼び水となるのである(Hatfield et al., 1994)。つまり,他者と感情を同じくする情動伝染においても,感情を生起するメカニズムに身体反応が関与しており,展示で得られた感想は的を射ていたと言える。そして,扇情的な鏡と類似したアプローチのもと,実際には他者の身体反応ではないものの,他者の身体反応であると感じさせるような刺激を作り出すことで,複数人の感情や感情に付随する認知を変化させることができるか調査した。

先に述べた表情を変化させる画像処理手法を応用して,対話相手の表情が常に笑顔や悲しい顔に加工されるビデオチャットシステムを作成した(Nakazato et al., 2014)。このビデオチャットを用いてブレインストーミングしてもらったところ,お互いの表情が常に笑顔に見えるように加工すると,表情を加工しない場合や,悲しい顔でブレインストーミングしたときよりも,会話中に出てくるアイディアの数が1.5倍ほど多くなることがわかった。

一方で,会話の文脈によっては,対話相手が常に同じ表情をしていると「こいつ真剣に話聞いていないんじゃないか……?」と勘違いされる恐れもある。そこで,自分の表情に同調するように対話相手の表情を変化させるビデオチャットシステムを作成した(Suzuki et al., 2017)。片方の話者が笑顔になったことを検出すると,先と同様の画像処理によりもう片方の話者の表情を笑顔に加工する。表情の同調効果を擬似的に作り出すことによって,相手に抱く印象や,会話の流暢さが変化するということがわかった。

働き方改革の始動により,情報通信技術を活用して自宅や喫茶店などオフィス以外の場所で働くテレワークが注目されている。上記のような仕組みをテレワークに活用することで,より生産的かつ効率的に働けるようになるかもしれない。もしかすると,直接会って会議するよりコンピュータを通して議論したほうがよい,と言われるような未来が訪れるかもしれない。

おわりに

「悲しいから泣くのではなく,泣くから悲しい」というような身体と感情の逆説的な関係性に注目し,擬似的な身体反応を用いることで感情を生起する研究について紹介した。知覚心理学をベースとしてきたVRは,五感を含む多様な感覚に基づいた体験の再現を果たしてきた。さらに,感情心理学の知見を紐解くことで,感情や感情に付随する認知の変化を誘発することが可能になりつつある。最後に,本稿を通じて心理学で提唱されている現象を体験させるツールとして,VRの可能性を感じていただけると嬉しく思う。

文献

  • Damásio, R. A.(1994)Descartes’s error: Emotion, reason, and the human brain. Putnam Publishing.
  • Dimberg, U. & Söderkvist, S.(2011)The voluntary facial action technique: A method to test the facial feedback hypothesis. Journal of Nonverval behavior 35, 17-33.
  • Hatfield, E., Cacioppo, J., & Rapson, R. L.(1994)Emotional contagion. Cambridge University Press.
  • James, W.(1884)What is an emotion?. Mind, 9, 188-205.
  • Nakazato, N., Yoshida, S., Sakurai, S., Narumi, T., Tanikawa, T., & Hirose, M. (2014)Smart face: Enhancing creativity during video conferences using real-time facial deformation. In Proceedings of the 17th ACM conference on computer supported cooperative work & social computing(CSCW ’14). ACM, New York, NY, USA, 75-83.
  • Schachter, S & Singer, J.(1962)Cognitive, social, and physiological determinants of emotional state. Psychological Review, 69, 379-399.
  • Suzuki, K., Yokoyama, M., Yoshida, S., Mochizuki, T., Yamada, T., Narumi, T., Tanikawa, T., & Hirose, M.(2017)FaceShare: Mirroring with pseudo-smile enriches video chat communications. In Proceedings of the 2017 CHI Conference on Human Factors in Computing Systems(CHI ’17). ACM, New York, NY, USA, 5313-5317.
  • Valins, S.(1966)Cognitive effects of false heart-rate feedback. Journal of Personality and Social Psychology, 4, 400-408.
  • 吉田成朗・鳴海拓志・櫻井翔・谷川智洋・廣瀬通孝(2015)リアルタイムな表情変形フィードバックによる感情体験の操作.ヒューマンインタフェース学会論文誌, 17, 15-26.

PDFをダウンロード

1