森山和道の「ヒトと機械の境界面」
フェイクと現実の境界を溶解させる「SRシステム」の行方
（2013/12/10 06:00）
我々は普段、身の回りにある現実を疑わない。疑う理由が何もないからだ。椅子が突然消えたり、人が突然表れることはない。だが、だからこそ、我々の現実を疑う能力は低い。そして認知の能力は、よく言えばロバスト、悪くいえばいい加減にできている。よくできたマジックを思い出してもらえれば分かりやすいかもしれないが、現実とフェイクが何重にも重なり、そのレイヤーを行き来していると、どのレイヤーが本当なのかあっという間に分からなくなる。普段は揺らぐことのない「現実」への信念は、ちょっとしたことで簡単に崩壊する。
独立行政法人 理化学研究所 脳科学総合研究センター(理研BSI)適応知性研究チームの藤井直敬チームリーダー、脇坂崇平研究員、鈴木啓介研究員(現イギリス サセックス大学研究員)らは、2012年6月に「代替現実システム」を発表した。「代替現実(Substitutional Reality)」の英語頭文字をとって「SRシステム」と呼ばれるこのシステムは、自分自身の「いまここ」の感覚を、さらに俯瞰して認知する「メタ認知」と呼ばれる高次な能力を研究するためのプラットフォームとして開発されたものだ。
まずはSRシステムの概略を紹介する。ハードウェアとしてはモーションセンサーとHMDとカメラとヘッドフォンを組み合わせたものだ。そして、その体験内容を制御するPCやオーディオミキサー、タブレットなどから構成される。装着者は「いま現在起きている出来事」をHMDに付けられたカメラ越しに見る。被験者が見ているのはHMD経由のカメラ映像だが、カメラは頭部に付けられており、映像は自分自身の頭の動きと連動している主観映像なので、特に違和感は覚えない。
そこに、実験者が事前にパノラマカメラを使って録画した映像、すなわち「過去映像」を、装着者に気づかれないように挿入する。例えば「いま現在の映像・音声」の質を落とし、「過去録画・音声」の質を上げるなどして、両者の差分を減らしてやるのである。パノラマ撮影しているので、過去映像だが視点の移動もできる。すると、過去と現在、両者の区別が主観的には付きにくくなる。そういう状況を作り出すことで、装着した被験者は、いま見聞きしている「現実」を、疑わざるを得ない状況に陥る。このような「メタ認知」が働いている状態を、人工的にコントロールしながら、比較的長時間作り出すことができるシステムである。
現実映像と過去映像、双方の刺激を等価にしてしまうこのシステムを使えば、音楽や映像を自在に組み合わせて空間演出するDJやVJのように、「リアリティ・ジョッキー」、「RJ」のようなことも可能だと脇坂崇平氏は語る。
藤井直敬氏には『つながる脳』(NTT出版)、『ソーシャルブレインズ入門
<社会脳>って何だろう』(講談社現代新書)など、いくつかの一般向けの著書がある。近著は『拡張する脳』(新潮社)。筆者がこの本のレビューを書いたことで藤井氏から声をかけていただき、遅ればせながら「SRシステム」を体験することができた。SRシステムそのものは既に2012年8月にパフォーマンス作品『MIRAGE』が日本科学未来館で一般公開、9月には「東京ゲームショウ2012」で、ソニーのHMD「HMZ-T2」を改造した「PROTOTYPE-SR」を使った『バイオハザードV トリビューション』のプロモーション体験が行なわれており、その前後に多くの記事も他媒体には出ている。本連載の読者の皆様だと、とっくに御存知、あるいは体験済みの方もいらっしゃると思う。
ただ「SRシステム」は発展途上で、共同研究開発パートナーも広く募集中とのこと。今は「人手不足」だそうだ。今回は筆者個人の体験を交えた感想と、藤井氏ほか開発チームの方々のお話を、この時点で記録しておきたい。今回、取材に応じていただいたのは、藤井直敬氏、脇坂崇平氏、岡野裕氏の3人。SRシステムは現実と仮想を気づかれないように入れ替えるための仕掛けだ。藤井氏以外にお2人いらっしゃるのも、フェイクと現実を気づかれないように入れ替える仕掛けの1つでもあった。
SRシステムを使ったパフォーマンス作品『MIRAGE』
フェイクとアクチュアルが入り交じる世界を体験
今回筆者は、できるだけ事前に「SRシステム」体験記などを読まないようにして体験に臨んだ。できるだけうまく騙してほしいと思っていたからだ。体験ではまず、撮影スタジオのような白い壁の実験室内で、HMDを着用するところから始まる。椅子に座り、ヘッドフォン部分を持って、本連載でもお馴染みの工業デザイナー山中俊治氏デザインのカメラ付きHMDを付ける。
SRシステムのHMDの解像度は1,280×720ピクセル。フレームレートは毎秒16フレームなので、画像遅れはけっこうある。体験中は、自分の手を目の前にかざして現実か仮想かを確認することは原則禁止だが、頭部は自由に動かして構わない。どこを見てもいいように、挿入される過去映像もパノラマカメラで撮影されているからだ。
頭を動かしてみて、ここで少し、不思議な感覚になった。HMDは実際に着用してみると、案外、違和感が少なくない。だがこのシステムは解像度も低く、遅れもあるのに、あまり違和感がないのだ。つまり、違和感を感じないことに違和感を覚えたのである。
この違和感のなさは、「体験の内容が確かに「今・ここ」のモノそのままだと体験者が自然に感じている、信じていることに起因している」という。これは、基本的には下記2点が満たされることにより実現されると脇坂氏は語る。
- 「視覚と運動（頭の動き）の自然なカップリング(Visuo-Motor Coupling)」がある程度の精度で成立していること
- 装置着用中、近い距離に実際に存在している人やイベントとコミュニケーション、インタラクションを行なうこと
逆に言えば、この2点が満たされさえすれば、解像度、遅延の無さ、視野角の広さなどのスペックは二の次であり、下手に細部が細かく見えてしまうよりは、場合によっては解像度が低めのほうが脳内で映像が補完されるのではないかと考えているという。
つまりSRシステムの違和感のなさは、技術的なことではなく、HMD+ライブカメラの運用目的・手法にあると考えているという。HMDの専門家たちは解像度を上げたり、フレームレートを上げるほうに努力を注いでいるが、それとは違うリアリティの提示方があることは間違いなさそうだ。
さて、目の幅を調節したり、音を確認したりしたあと、自然に体験に入る。実はどこから過去映像が入るのかは、体験者には分からない仕組みになっている。つまり気がついたらSRシステムの手中にいる、そんな体験としてデザインされているのだ。
実をいうと筆者は、これまで色々なシステムやメディアを体験していることもあるのか、最初に映像が過去のそれに変わった時点では、「あ、これが過去映像+音声だな」と分かってしまった。理由は2つあって、1つ目は装着時にヘッドフォンの位置が合っていなかったのか、音に少し違和感を覚えたこと。もう1つは、「もし自分が『リアリティジョッキー』だったら、この時点で現実と過去を入れ替えるだろうな」と思われるタイミングがあったこと、この2つが気がついてしまった理由だった。筆者はドラマやゲームもついついシナリオライターの立場で見てしまうタイプの人間なのである。
ただ、それほどの確信があったわけではない。「いや、現実ですよ」といわれて、身体への接触など別の感覚で現実の証拠(らしきもの)を示されてしまえば、逆に「あれれ?」と思ってしまったかもしれない。そんな感覚だ。
今回のSR体験はおおよそ10分弱だった。その間に、過去と現実が入れ替わったり、同時に提示されたりする。例えば視野の片方は現在の映像だが、片方は過去の映像だといった表現も可能なのだ。そんな映像を見たり、(過去か現在かは良く分からない映像内の)登場人物に返事をしているうちに、だんだん、どちらがどちらか良く分からなくなっていく。
例えば藤井氏がぽんと映像として現れて、虚像かなと思っていると、握手しようと手を伸ばしてくるのである。手を伸ばすと確かに握手できる。だが、誰かの手に触ったことは確かなのだが、それが本当に藤井氏の手だったのか、別の誰かの手だったのか、分からない。そもそも、いま思い出してみようとしても、自分が伸ばした手が自分の視野の中にちゃんと出て来たかどうかも記憶がはっきりしない。こんな映像をしばらく見ていると、自分がどちらを相手にしているか自体は、どうでもいいことなのだと思えてくる。問題はコミュニケーションできている(と、自分が感じる)かどうかで、目の前にあるものを取りあえず受け入れるしかないのだから。なお虚像と会話している(と、本人が思っている)ときは、外から見ると独り言、あるいは「エアー会話」しているような状態になる。
さらに体験は、渋谷のスクランブル交差点の雑踏をパノラマ撮影したものに変化した。右左はもちろん、上を見ると上が見える。カメラ自体も移動して撮影しているのだが、やはりそれほど違和感がない。脳内で補正されているらしい。SRシステムは、このような元々ある脳内の補正機能を積極的に活用している。何より、自分自身が知っている街並の映像体験だと、自分自身の記憶が刺激されて再現されていき、いま見ている風景の強化や、記憶の上書きなどがごく自然に行なわれることが分かる。
最後に映像は、若い女性が出現して、ちょっとドキッとする演出で終わりを迎えた。現実にはそんなことはあり得ないと分かっているので、これは明らかに虚像だと分かる。が、もし心拍数を計測されていたら間違いなく上がっていただろうと思うし、もし、HMDを外したあとにその女性が実在して目の前にいたら、さらにびっくりしていたに違いない。
最後の最後で女性が消えて、3人が目の前に現れ、「HMDを外します」と言われてガチャガチャっと後頭部から外してもらったのだが、これ自体も演出で、現実ではないかもしれない……。体験開始から10分後には、そう感じるようになっていた。実際に、誰がどう外してくれたのかは率直に言って、良く分からなかった。
HMDを外された後、筆者は、自分の「この身体」で見聞した情報を現実とする、その確固とした拠り所としての身体の感覚に、どこか安堵を覚える自分自身をメタな視点で感じていた。アニメ映画『攻殻機動隊』で、主人公のサイボーグ・草薙素子が海の中から海面に浮上するシーンがある。あれと似たような、現実と虚像の界面に浮上したような、そんな感覚だった。
応用 ～ホラーやAV、精神疾患体験プレイヤー、新たなワークスペース構築まで
現在、開発チームでは多くの共同研究が行なわれており、例えば東芝とは音声合成と組み合わせることで、何が会話のクオリティや自律性を感じさせるかを調べているという。
1度体験しただけでも、このシステムにエンターテイメント向け体験プラットフォームとして、色々な可能性があることは分かる。例えばホラーやアダルトは作りやすいコンテンツだろう。実際、「東京ゲームショウ2012」でのプロモーションでは、女性がゾンビに変わって襲ってくるというSRコンテンツが作られて、効果的だったと藤井氏は語る。
「仕組みとしてはすごく簡単なんですけど、今までのデバイスで経験したものとは違う何かが立ち上がる。言葉にならない何かが残るんですよね。そこを分かった上で攻めちゃうと、危ないところにいくでしょうね」。
藤井氏らはSRシステムを「実験室内だけのものとするのはもったいない。むしろいろんな人に使ってもらって、可能性を広げてほしい」と考えている。社会へのSRシステムの提供も大きなテーマの1つだ。「映画、映像表現をしている人たちが、コンテンツを作る環境を作りたいですね」。SRシステムのようなパノラマ映像を作るためには従来の映画とはまた違った表現も必要になる。例えばパノラマ映像は体験者がどこを見るかを選べない。情報が全方向にあるからだ。その中で、体験者をどういう方向に誘導するのかといったことを探っていかないといけないと考えているという。
いま、リコーの「THETA(シータ)」や、Oculus VRの「オクルス・リフト(Oculus Rift)」などのように、パノラマカメラやHMDの性能は飛躍的に性能が向上している。「10年前だったらいまやってることは普通のマシンでは扱えなかった。なので、タイミング的に良いこともあって、コンテンツを作るクリエイターに技術を提供して、映像表現を探ってほしいなと思っています」(藤井氏)。既存のバーチャル・リアリティ系の人はもちろん、趣味で映像を作っている人たちにもSRを使ってもらうなどして、「できるだけ間口を広げたい」と考えているそうだ。
例えば、リアルタイムの映像にアニメーションやマンガのようなエフェクトをかけることも今ならできる。線画で構成された現実の風景を見せることもできるのだ。そうなると、その中に登場する人が本当に現実の人なのか、アニメーションで描かれたキャラクターなのか区別することは困難になる。そうすれば、SRシステムで現実とアニメーションの世界を地続きにできる。これができるのであれば、いろいろなキャラクターとコミュニケーションしたい人は大勢いるだろう。視覚的な情報に限らず、特定の感覚モダリティの情報は、リアリティを作るための必要条件ではないのだ。1番の条件は「信念」だという。
だが本当は、それだけではない。自分が過去と現在が折り重なり、どのレイヤーにいるのか分からなくなったあとにHMDを外させて、さらにその後にもSR体験が続くようなものを作りたいのだと藤井氏は語る。例えば先の女性のように「仮想の中にしかいない」と思っていた人が「本当にいる」と思ったときにどう感じるか。現在、チームではワイヤレス版を作ろうとしており、そうすれば仮想世界の中を歩き回ることもできるようになるという。可能性はまだまだ広がりそうだ。
「SRシステム」の原点はいくつかあるそうだが、その中の1つに、現実認知のイリュージョンを調べるというものがある。「作話」という症例を御存知だろうか。記憶障害の一種とされていて、客観的にみると記憶が欠落しているなどの状況下で、実際の現実とは異なった物語を無意識に作ってしまう症例だ。「無意識に」というところがポイントである。開発チームでは、人間は気づいていないだけで、意識下で物語を勝手に作ってしまう「作話」のようなメカニズムを常に働かせているのだろうという仮説を持っている。ほとんど常に、多少現実に辻褄が合わないことがあっても、辻褄があうように調節してしまっているのだろうというわけだ。
では、どんな状況ならば「作話」が起こるのか。通常は起きない「作話」をどんな条件ならば起こせるのか。再現性はあるのか。それをSRシステムのような、「現実感」を操作できるシステムを使えば、誰もが「作話」してしまうような状況を作れるのではないかと考えている。その脳のダイナミクスを調べるというのが、SRのもともとの出発点の1つだ。
「感覚入力は物理的世界に依拠しているので、そちらは辻褄があっている。だから作話の内容が結果的に合っているんだと思います。でも、こっそり『世界のリアリティ』をSRでいじってやると、普段やっている『作話ぶり』があぶりだされるんじゃないか」(脇坂氏)。
また「記憶違い」のような現象をコントロールして起こすこともできるのではないかという。上述の渋谷の街並のような映像体験に顕著だが、実際に行ったことがある町の映像だと、自分の記憶自体が映像を見ることで上書きされるので、どこからどこまでが現実の街並で見たものか、どれがSRで見た過去映像なのか分からなくなることは容易に想像できる。SRシステムを使えば、例えば1分以内の記憶をコントロールすることもできる。個人的な体験はコントロールしようがないが、新しい記憶を埋め込めれば、記憶や想起の実験としても成立する。
SRシステムは、統合失調症や認知症の体験プレイヤーとしても有用なのではないかと考えられる。本人に着用してもらうのではなく、患者を治療する医師や看護・介護する人に着用して体験してもらうことで、実際にどんな体験なのか、どんな苦しみなのか実感することができれば、患者を受容しやすくなる。
1番興味深いのは、SRシステムを連続装用すると世界の認知の仕方はどう変わるかという実験だろう。人間ではなかなか難しいかもしれないが、藤井氏はSRシステム以外にも、サルを使った「社会脳」の研究等も行なっている。そして、サルに応用したSRシステムも既に開発して実験を行なっている。サルと人間とは現実の認知が違うらしいことが、SRシステムを着用させた状態の反応の違いからも分かるという。
例えば、過去の映像を見ているときに手を伸ばして何かを取るという状況があったとする。人だと、ものを取ろうとしたときにそれがなくて、手がすかっとなってしまったら、世界全体を虚像として疑うことができる。だがサルの場合は、手を差し出しているその人本人に対して怒りを示すのだという。周囲の環境全体を疑うのではなく、あくまでその人が自分を騙していると思うらしい。つまり世界全体を疑うというのは、高次な機能であるか、「世界」全体のイメージを持っているから疑うことができるのではないかという。「もしかするとサルには統合された世界のイメージがないのかもしれない。サルになってみないと分からないけれど、『現実』が自分を裏切ったときの理解の仕方が、人とサルではけっこう違うのかなと思いますね」と藤井氏は語る。
また、SRシステムを使って、環境そのものを作り、新たなワークスペースを構築するというアイデアもある。さまざまな可能性がまだまだある。ただ1つ決めていることは、没入感を高めるために「SRシステム」のHMDを何とかして3D化するとか、モーションセンサーのクオリティを上げるといった方向にはいかない、ということだという。
「それは不毛なんで。奥行き感覚は頭の中で生まれちゃうんですよね。実際には奥行き情報は何も変わってないんですけど、差分情報さえ得ることができれば、頭のなかで3Dを作れるんです」(脇坂氏)。つまり、「それくらい脳がよくできているということです」(藤井氏)。というわけだ。脳のしくみを突くことで、リアリティを生み出し、没入感を高めるわけだ。
しかも、無意識でやってくれるので、疲れを覚えることもない。そういう脳の仕組みをうまく利用することが大事だという。「むしろ、ゆるいけれど、新しい体験を生み出すほうに行きたいと考えています」(藤井氏)。
これまでにも、いわば「世界」を作り出したいという欲望から生まれて来たメディアはあった。どれも発展途上のまま、当初の想定とは少し違う方向へ発展し、それなりの表現として今の世の中に居場所を見つけている。果たしてSRシステムはどんな形へと発展していくのだろうか。どこまで行けるのか。まだまだ不透明で未来はぼんやりとしているが、そのプロトタイプを試せたことは貴重な体験だった。