公益社団法人 日本心理学会

詳細検索

心理学ワールド 絞込み


号 ~

執筆・投稿の手びき 絞込み

MENU

刊行物

【特集】

バーチャルリアリティによる知覚研究

繁桝 博昭
高知工科大学情報学群 教授

繁桝 博昭(しげます ひろあき)

Profile─繁桝 博昭
2004年,東京大学大学院人文社会系研究科博士課程単位取得退学。博士(心理学)。東京大学インテリジェント・モデリング・ラボトリー中核的研究機関研究員,豊橋技術科学大学インテリジェントセンシングシステムリサーチセンター特任助教などを経て現職。専門は知覚心理学,認知神経科学,バーチャルリアリティ。著書は『イラストレクチャー認知神経科学』(分担執筆,オーム社),『VR/AR技術の開発動向と最新応用事例』(分担執筆,技術情報協会),『基礎心理学実験法ハンドブック』(分担執筆,朝倉書店)など。

はじめに

バーチャルリアリティ(VR)は現実と変わらない体験を人工的に実現させることを目指す技術である。すべての感覚を実世界と同じように呈示できることがVRの理想であり,VRの研究ではできるだけ現実に近い刺激呈示を実現すべく,視覚をはじめとしてさまざまな感覚のディスプレイ装置が開発されてきた。実世界と物理的に同等の刺激を呈示することが困難な場合には,知覚心理学の知見を利用し,物理的には異なる刺激で現実と同じような効果を生じさせることもある。本稿ではVRの分野で発展してきた感覚刺激の呈示技術やそれらに関連した知覚の研究,およびVR技術に特有の問題点について概観し,VRの技術を活かした知覚研究の今後の展開について考察する。

VRによる空間知覚

頭部搭載型ディスプレイ(Head Mounted Display:HMD)が安価に手に入るようになり,近年ではVR技術を用いた研究を行うことが容易になった。VR技術の発展は知覚研究の幅を広げ,古典的な実験室的環境を超えた実験を可能にする。最近では民生用のHMDでもヒトの両眼の視野角と同程度の呈示ができるものが登場しており,今後は眼球運動の範囲もカバーしたさらに広視野角のHMDも期待できる。また最近のHMDは頭部の回転や移動を計測し,その動きに応じた映像を低遅延で呈示することが可能になっている。目や頭部の動きに対応して実世界を見る場合と変わらない範囲に視覚刺激が適切に呈示されれば,VRの空間内に観察者が存在している感覚(没入感)はさらに強力になり,よりリアリティのある空間呈示となる。このようなVR装置を用いることで,巨大な空間や大掛かりな装置を用意しなくても,視空間の知覚特性に関する実験が可能になる。自然災害など,実世界では再現できない状況を現実的なスケール感で体験させるような研究にも用いることができるだろう。

ただし,HMDで現実と区別がつかないほどのリアルな世界を呈示するためには,解決すべき問題は多くある。近年のスマートフォンでは画素を識別できないほど高精細なディスプレイが採用されているが,HMDは眼により近い位置に凸レンズで拡大した映像を呈示するため,同程度の解像度のディスプレイではヒトの空間解像度より粗くなってしまう。特に両眼網膜像差や線のズレなどの検出の精度は非常に高いため,閾値付近の刺激を対象とした実験を行うにはHMDは不向きである。また,実世界の物理的値に対応した空間知覚の実験を行う際には,シミュレートした長さなどの値が実世界を提示したときの視角と一致しているかを検証する必要がある。他にも,ダイナミックレンジ,表示色,リフレッシュレートなどのディスプレイの特性,レンズによる歪みや収差,呈示する世界のモデリングやレンダリングの精度,観察者の両眼間距離などの個人差もHMDの映像が実世界の視覚入力と異なる要因となる。また,VR環境の奥行き知覚が実世界より過小評価されるという報告もあり,VR環境による知覚特性を実世界の特性として一般化できるかは慎重に検討する必要があるだろう。

実世界では,見る対象までの距離によって目のレンズの屈折力を調節し,ピント合わせをしているが,一般のHMDでは呈示する映像の焦点距離が固定されており,VR内でシミュレートされた距離に依存した目の調節が生じないことも実世界を見る場合との大きな相違点である。一方,両眼の視軸のなす角度である輻輳角も見る対象までの距離に応じて変化するが,この輻輳角はVR環境でも実世界と同様に変化する。そのため,目の焦点調節と輻輳角が示す奥行きの情報が不一致となってしまい,実世界と異なる空間知覚をもたらしたり,眼精疲労や酔いを誘発したりする可能性がある。シースルーのHMDを用いて実世界とバーチャルな世界を融合させる複合現実(Mixed Reality:MR)の手法では,実世界の物体とバーチャルな物体間でも焦点距離の不一致の問題を生じる。こうした問題に対して,レンズを動的にシフトさせたり,可変焦点レンズやミラーを用いたり,光線空間(light field)を再現したりして距離に応じた焦点調節を行わせる呈示手法が検討されている(清川,2019)。

聴覚などの他の感覚モダリティによる空間情報を適切に呈示することも,リアリティをもたらす重要な要素である。聴覚刺激では,耳介や身体の音の反射特性を考慮した頭部伝達関数に基づいて音源を処理することで,ステレオ音源による左右の位置の違いだけでなく,上下や前後方向にも音源の定位が生じ,リアルな立体音像の呈示が可能となる。HMDの視覚情報に,ヘッドホンによる立体音像の聴覚情報を加えることで,背後の空間の存在も含めた高い臨場感を与えることができる。

VRによる自己運動の知覚

図1 広視野HMDを用いた歩行実験の例
図1 広視野HMDを用いた歩行実験の例

HMDや大規模ディスプレイによって大きな視野上に運動する映像を呈示すると,自己が移動しているような感覚が得られる。視覚情報によるこのような感覚は視覚誘導性自己運動感覚,あるいはベクションと呼ぶ。実世界で自己が移動する場合には,視覚情報だけでなく,加速度を検出する前庭覚,風による触覚,筋運動の感覚などの多くの感覚情報が得られ,複合的に自己運動が知覚されているため,VRではモーションチェアや送風機などによって前庭覚刺激や触覚刺激を呈示し,リアリティを高める工夫がなされている(池井ら,2019)。HMDを用いて実際に歩行し,頭部位置に応じた視覚刺激を呈示することで,身体運動の情報と統合した呈示も可能であるが(図1),視覚刺激による自己運動の感覚は強力なため,実際の自己運動と異なる視覚フィードバックを与えても気づかない場合がある。このことを利用して,有限な空間を移動しているにもかかわらず広大なVR空間上を移動しているように知覚させるような手法も検討されている。このような手法はリダイレクテッドウォーキングと呼ばれ,VR空間で曲がった角度と現実空間で曲がった角度を変えるなどの様々な工夫がなされている(Nilsson et al., 2018)。

なおVRの普及を妨げてきた要因の一つに,HMDによって酔いの症状を生じる場合があることが挙げられる。酔いを生じる要因は多様であり,その生起メカニズムは解明されていない点も多いが,先に説明した焦点調節と輻輳角の不一致以外に,自己運動の知覚をもたらす複数の感覚情報が一致しないことによって生じるという説(感覚不一致説)が有力である(Reason, 1975)。VRでは,視覚情報を自由に操作でき,頭部の向きの変化や身体の移動も伴うため,視覚とそれ以外の感覚情報が示す自己運動情報が異なる場合が様々に生じうる。したがって,それぞれの場合に応じて酔いを生じさせない工夫が必要である。

VRによる体性感覚

視覚的にリアルな映像を実現できたとしても,見ている対象に触れようとしたときに触覚や力覚(筋肉や腱による深部感覚)のフィードバックが得られないと,途端にその対象に対するリアリティは失われる。3D映像で目の前にリアルな物体が呈示されると,多くの人はそれが実際には存在していないことを確かめるかのようにバーチャルな物体に触れようとするが,このことは異なる感覚モダリティによる知覚が矛盾なく同時に得られることがリアリティを感じる一要素であることを示している。VRでは,指先やペンなどでバーチャルな物体などに触れた場合の触覚刺激の呈示には振動する装置を用い,深部感覚をもたらす力覚の呈示にはロボットアームやワイヤーによって機械式の装置を用いる。振動する触覚刺激は手以外にも用いられており,歩行時に生じる視覚刺激の呈示に加えて適切な振動刺激を足裏に呈示すると,座っている状態でも歩行感覚を生じることが報告されている(Kitazaki et al., 2019)。しかし,触覚や深部感覚などの体性感覚は全身に感覚器官があるため,没入的なリアリティを感じるためには局所的な刺激ではなく,全身に刺激を呈示できることが理想である。全身に触覚刺激を呈示するスーツなども開発されているが,全身の自然な体性感覚呈示の実現はまだ先の話であろう。

体性感覚の一つである痛みの感覚をVRで軽減する試みも多く行われている。自然の風景の映像などをHMDで呈示すると,注射,歯の治療,陣痛などで実際に痛みの程度が軽減することが報告されている。痛みは単純な知覚現象ではなく,気を紛らわせたり,不安を除去したりすることによる心理的効果が大きく,視環境を大きく変えることで痛みなどの感覚を低減するという用途にもVR技術は効果的である。

VRによる身体の知覚

バーチャルYouTuberや, VR上のSNSであるVR chatでは,ヒトの現実的な身体の制約から自由な多様なアバタが利用されている。自己身体の見えを大きく変容させることはこれまでは現実的ではなかったが,今日ではVRにより実際の自己身体とは異なる身体を自分の体のように操作することができる。自己身体を変えることが外環境の知覚に及ぼす影響を検討した研究も増えており,身体を子どもの身長のサイズに変えた時の知覚の変化を検討した研究や(Banakou et al., 2013),手の視覚的フィードバックを実際の自己の手の長さよりも長くしてリーチング課題を行いその長い手に順応させると両眼網膜像差から知覚される奥行きのスケーリングが歪むかを検討した研究などがある(Volcic et al., 2013)。身体位置の知覚が視覚フィードバックによって変化することも知られており,模型の手やVR空間のバーチャルな手を自己の身体として知覚すると,自己身体の位置知覚が移動すること(自己受容感覚ドリフト)が報告されている。自己受容感覚ドリフトは,視覚情報と同期した触覚刺激を提示することによって模型の手に自己所有感を感じるラバーハンド錯覚と呼ばれる現象において報告されたが(Botvinick & Cohen, 1998),能動的な運動に同期した身体の視覚フィードバックが得られる場合にも生じる(たとえば内田・繁桝,2019,図2)。視覚情報によって変容する柔軟な自己身体知覚の特性を利用すれば,拡張した身体を自己の身体と感じさせるような研究にも応用することができるだろう。

図2 手の視覚フィードバックの位置の効果を検討した実験の例
図2 手の視覚フィードバックの位置の効果を検討した実験の例

VRによる嗅覚・味覚

嗅覚や味覚は化学感覚と呼ばれ,においや味をもたらす化学物質が直接感覚器の受容体と結合することによって知覚される。そのため,化学感覚は視覚や聴覚のように任意に刺激を生成して呈示することが困難であり,これらの感覚をもたらす物質を実際に用意して呈示することになる。VRにおける嗅覚のディスプレイの研究では,においをもたらす物質を鼻腔に送り込むウェアラブル装置や空気砲の装置など,物質の呈示手法の研究が多く報告されている。一方,私たちが感じる「味」は,味蕾の受容体によってのみ決まるのではなく,におい,咀嚼音,粘性,温度など多くの味覚以外の刺激が統合されて知覚されるため,他の感覚情報によってバーチャルな味の知覚をもたらす方法も報告されている。ビデオシースルーによるHMDを用いてプレーンのクッキーの見かけを変え,かつウェアラブル嗅覚ディスプレイでにおいを与えると,元の味とは異なる味のついたクッキーに錯覚する例などがある(鳴海ら,2010)。

おわりに

VRは,現実と同じ効果をもたらすことに加え,実世界の制約から解放された感覚情報をリアリティをもって呈示できる点も重要である。今後は長時間VR環境内に滞在し,その環境に適応するようなケースが増えてくることも予想されるため,実世界の物理法則に従わない世界や生得的な身体構造と異なる自己身体を呈示することがヒトの知覚,認知にどのような影響を及ぼすのかについて検討する必要があるだろう。また,現実にはありえない環境や自己の状態でのヒトの知覚や反応を見ることで,私たちの知覚,認知のシステムがどのような特性を持つのかをあぶり出すツールとしてVRは利用できるだろう。

文献

  • 清川清(2019)AR用ヘッドマウントディスプレイの動向と視覚拡張への応用.電子情報通信学会論文誌C, J102-C 5, 170-178.
  • 池井寧・広田光一・阿部浩二・雨宮智浩・佐藤誠・北崎充晃(2019)身体的追体験の概念の提案と一部機能の試験実装—多感覚・運動情報提示による歩行・走行体験の共有.日本バーチャルリアリティ学会論文誌, 24, 153-164.
  • Nilsson, N. C., Peck, T., Bruder, G. et al.(2018)15 years of research on redirected walking in immersive virtual environments. IEEE Computer Graphics and Applications, 38, 44-56.
  • Reason, J. T. & Brand, J. J.(1975)Motion sickness. Academic Press.
  • Kitazaki, M., Hamada, T., Yoshiho, K., Kondo, R., Amemiya, T., Hirota, K., & Ikei, Y.(2019)Virtual walking sensation by prerecorded oscillating optic flow and synchronous foot vibration. i-Perception, 10, 2041669519882448
  • Banakou, D., Groten, R. & Slater, M.(2013)Illusory ownership of a virtual child body causes overestimation of object sizes and implicit attitude changes. Proceedings of National Academy of Science, 110, 12846-12851.
  • Volcic, R., Fantoni, C., Caudek, C., Assad, A., & Domini, F.(2013)Visuomotor adaptation changes stereoscopic depth perception and tactile discrimination. Journal of Neuroscience, 33, 17081-17088.
  • Botvinick, M., & Cohen, J.(1998)Rubber hands 'feel' touch that eyes see. Nature, 391, 756.
  • 内田裕基・繁桝博昭(2019)バーチャルな身体の運動方向,偏位方向およびサイズが自己受容感覚ドリフトに及ぼす影響.日本バーチャルリアリティ学会論文誌, 24, 61-67.
  • 鳴海拓志・谷川智洋・梶波崇・廣瀬通孝(2010)メタクッキー:感覚間相互作用を用いた味覚ディスプレイの検討.日本バーチャルリアリティ学会論文誌, 15, 579-588.

PDFをダウンロード

1