■森山和道の「ヒトと機械の境界面」■ CTスキャンと仏像と「マトリックス」と ～立体映像の可能性

　3D表示を売り物にするディスプレイがコンシューマー向けに現実的な価格帯で登場し始めた。また3D化できる携帯電話もでている。未来のテレビといえば立体テレビだ、と思っている世代もまだ大勢いる。確かにそれらは立体映像の主たるアプリケーションだが、それだけが立体映像のありようではない。

　立体映像が計算機世界と実世界とのインタフェースとして有用であることは、少し考えを巡らせれば自明である。もし、デスクトップの中にしかないものを実空間に虚像として実像に重ねて提示できたら? 計算機世界にしか存在しないオブジェクトや機能を、ありありと実世界に提示することができたら?

　ユビキタス時代には、あちこちに計算機が埋め込まれ、ネットサービスを提供してくれるようになるという。そんな時代には目には見えない情報やその流れを、目に見えるように提示する必要がどんどん増していく。立体映像技術にもこれまでのアトラクション用途だけではない新たな役割が期待される。今回は計算機世界と現実世界との接点、すなわちインタフェースとしての立体映像の可能性や、研究のベクトルを探ってみよう。

■目が疲れない立体映像とは?

河合隆史助教授

　早稲田大学 大学院国際情報通信研究科の河合隆史助教授らは、人間工学とヴァーチャル・リアリティ(VR)の視点から、立体映像など「空間を表現するメディア」に関する研究を行なっている。というと今ひとつ良く分からないが「ユーザーやクリエータの視点から、立体映像やVR関連のシステムやコンテンツを色々つくったり、評価したりする」のが研究室の活動だという。

　たとえば立体映像は疲れるものが多い。なぜか。液晶シャッターを使うにしろ赤青メガネにしろ、立体映像は基本的に二眼にそれぞれ違う情報を提示する。その結果、立体に見えるわけだが、もともと映像が提示されるディスプレイ面は一定の距離にあるのに、見えている三次元像の距離が動くことになる。そのため水晶体のピント調節による情報と、輻輳(≒眼球の回転)による距離情報との間にズレが生じる。それで目が疲れるのだと言われている。

　河合助教授は「コンピュータ作業をするときに適度な度のメガネをかけたりしますよね。それと同じように、僕は立体映像を見るためにも『度』があってもいいと思ってるんですよ」という。

　上記のような理屈で目が疲れるのであれば、輻輳による距離情報と、水晶体の調節による距離情報との間に整合性を持たせればいいわけだ。つまり、目が疲れないようにするためには、虚像がどのへんの距離に現れるかということを決めておいて、それに応じたレンズを入れて調節してやればいいのではないかということになる。単に単焦点レンズを入れただけだと一定の距離にしか対応できない。そのため、河合氏らは「テレセントリック光学系」という平行光線だけを取り出すことのできるレンズ群を間に入れてディスプレイを覗くシステムを作った。虚像の動きに従ってディスプレイが動く。

巨大なレンズ越しにディスプレイをのぞきこむと視野のなかで蝶が飛んでいる。なるほど、蝶そのものは自然に見えたが、背景の動きがまだ今ひとつだった。他の立体映像とはまた違った不思議な感覚である。ニコン、有沢製作所と連携した研究		耳鼻咽喉科向け立体映像教材。ドイツ・アーヘン工科大学との共同研究

■安価な立体映像編集システムを

　そのほか、河合研ではインフォームドコンセント用の3DCG制作や、医学教育用立体映像コンテンツのストリーム配信に関する応用研究を行なっている。医療研修においては奥行き感が非常に重要な情報であるため、比較的立体映像に関するニーズが高いのだという。

　立体映像対応のディスプレイは増えつつある。だが、立体映像コンテンツを造るためのツールはまだ少ない。

　「立体映像のコンテンツ不足には開発環境のハードルの高さが大きい」と河合教授。そこで河合研究室では簡単に立体映像を作るツール類も開発している。2眼式立体映像の編集には左右眼それぞれに再生・録画用VTRが必要になる。つまり合計4台のVTRを同期させる必要があるのだが、そのシステムはちょっとしたものでも1,000万円ほどかかってしまうのだという。

　だが同研究室による編集システム「StereoEdit( http://www.lets-co.co.jp/3dhp/pc_system.htm )」はパソコンに左右の信号を取り込んで自在に編集することが可能だ。また、左右の視差を簡単に調節することができるため、疲れにくいコンテンツを手軽に作成できるという。同システムは株式会社レッツ・コーポレーション( http://www.lets-co.co.jp/ )から98,000円(税別)で販売されている。

■文化財の立体映像化も可能

　Augmented Realityの研究も行なっている。産業用VR展でも展示されていたので見た人も多いかもしれないが、凸版印刷と共同して行なっていたのが「屋外博物展示システム」だ。産業用VR展では単に双眼鏡を覗き込むと中でキャラクターが踊っている、というただそれだけのデモだったため全く意味不明だったが、もともとは、たとえば遺跡があったとされる土地を見ると、その復元と実景が立体合成されて提示されるといったことを目的とされて開発されたものだ。

強化現実感を用いた屋外博物展示システム。遺跡の復元と実景への立体合成。凸版印刷との共同研究

　基本的には屋内ではなく発掘現場など屋外をそのままミュージアム化できないかという試みである。そのため、単に立体映像を見せるだけではなく、要所要所をRFIDでタグ付けした上で、携帯端末をユーザーに持たせ、特定のポイントでマークすると、その場所が記録され、また立体映像として提示されるといった統合システムのプロトタイプを、同研究科の大谷淳教授と試作したそうだ。

　文化財の立体映像化を多数試みていた河合氏らしい研究だが、自治体での公共工事やマンション建設などにおける完成イメージの提示や、住民間の合意形成支援などに用いることも可能である。本来の目的とは異なるという点で、少々残念な話だが、実際にはそちらでの用途のほうが多くなりそうだという。

　もう一つ、面白い試みが文化財のヴァーチャル修復だ。早稲田大学文学部の大橋一章教授がリーダーを務めているプロジェクトである。日本の仏像は、木で造られているものが特徴的で、現在残っている木彫仏の多くが漆で修復されている。だが、例えば江戸時代に修復されたものだと、当時の流行に合わせて、漆で「厚化粧」されたような形になっていることが多いという。修復前のオリジナルの顔が見たい、と思っても、文化財は非破壊・非接触が基本である。漆を剥ぐことは許されない。

　「だったらCTスキャンで中を覗いてみようと。木と漆は、放射線の吸収率が違うんですね。だから画像処理で漆の部分だけ剥ぐことができるんです」

　漆を剥いだ立体画像を造った上で、今の技術で仮想修復をするのである。ただ単にこれだけだとあまり面白くないのだが、今は3DCGデータを光造形で実物にすることができる。もちろん、今の状態、漆をはいだ状態、仮想修復をした状態、それぞれに対して光造形でモデルをつくることができるし、全体像を造ることも可能だ。ヴァーチャルな存在を実物として取り出すことができるという点が面白い。

兵庫県の書写山円教寺にある軍荼利(ぐんだり)明王の仮想修復		研究室にはCTスキャナーと取り込み中の仏像が置いてある

　CTで中を探ることで、木の年輪を読むことも可能だ。年輪が読めれば年輪年代学の標準パターンに照合することで、その木の伐採された年代が確定できる。そのためのCTスキャンの品質としては、0.1mm以下の解像度で10cmくらいの幅が目標だという。

　また、どういうふうに仏像を作っているかも分かる。たとえば内繰り(うちぐり)という、一本の木をくりぬいて、それを貼り合わせて作っている仏像がある。そうすると強度が上がるのだという。仏像は、中に教典のようなものが入っていることもあるが、それも分かる。玉眼といって、水晶を綿と竹釘でおさえて中から目を入れているものもあったそうだ。表面からは見えない。だが、中に目を入れてあることがあるのだ。そういったこともスキャンすることで分かる。当然、画面上でパーツごとにばらしたり、組み立てたりすることも自由自在である。

　現実にある物体を精密にヴァーチャライズドすることで、これまでの手法では理解できなかったことも分かるようになるのだ。

■自分の身体を消すことができたら

　そのほか、香りをVRで提示する研究なども河合氏の取り組んでいる課題の一つだ。実に幅広い。幼児向け番組コンテンツの評価なども取り組んでいる研究の一つ。どのような映像表現が番組として最適なのかを評価するためのものである。今後は、視聴者のコンテキストも評価のなかに組み込んでいきたいという。今日の視聴率調査では、単にテレビがついていただけでも、楽しみに待っていたときでも、変わらない数字に還元されてしまう。その文脈をちゃんと把握できないかと考えているそうだ。

画像解析を使った乳幼児向けTV番組の評価。NHK放送文化研究所との共同研究

　たとえば携帯電話についているカメラで、コンテンツを見ている人の目の動きを測ることで、コンテンツを評価することも今後は可能になるのではないかという。そうすれば、どのコンテンツがじっくり見られるものなのか、有効なページ作りなどを判断することができる。「携帯電話の画面を見るときの距離はだいたい決まってますからね。できなくはないと思います」という。ただ、これは反対する人も多そうだ。実際、河合氏の研究室の学生さんでも、絶対にイヤだという人もいた。

　仮想の世界と現実の世界をシームレスに繋ぐ。そのためにどんな可能性があるか、現在は方向性を探っているところだという。もともと河合氏は人間工学の立場から立体映像やVRの研究を行なっていた。立体映像を見せたときの生体情報を計測し、その影響を評価していたわけだ。だが、「そういうアプローチは、コンテンツや実際の利用場面の点で限界があって、そろそろ飽きないといけないな」と思ったのだという。フォーマルな実験では、被験者に電極などを装着し、たとえば5分間、単純図形を見せたあと3分間安静を保つ、といった系を組む。だが普通、人はそんな見方で映像を見たりしない。

　「だからもっとノーマルな環境、カジュアルな環境での評価手法を模索したいと思っています。将来的には、一種のデータベースみたいなものを創って、被験者を使って実験をしなくても、ある程度の結果を予測できるようなものを構築していきたいと考えています」

　人間工学は機械と人間の隙間を埋める学問である。人と機械－－、それぞれに特性がある。その間にはどうしても隙間ができる。仮想と現実の間はまだまだ隙間だらけだ。そこを埋めていかなければならない。

　たとえばサイバースペース上の物体をデータグローブで扱うというアプリケーションはVR技術としてよく見かける。だが、どうしても本当にサイバースペースのオブジェクトを扱っているような没入感にかける。触覚によるフィードバックやHMDを使っているにもかかわらず、だ。

　「フォースフィードバックって、柔らかさや硬さを出すことに血眼になってますよね。それよりは僕は、『手が中に入っている』という感覚も大事なんじゃないかなと思うんです。ディスプレイに出ている手が自分の手だという感覚です。コンピュータの中の物体の手触りを再現するということはみんなやってますが、さわってる手が自分の手だと思いこませることをやってないでしょう。そこが問題だと思うんです」(河合氏)

　つまり、現状ではディスプレイの中にズボッと手を入れたような感覚にはほど遠い、ということだ。河合氏は、そのためには、まず実際の自分の身体の感覚を消すことのほうが重要であり、ある種の錯覚みたいなものを使えばできるのではないかという。

　『脳のなかの幽霊』(ラマチャンドラン/角川書店)という本をお読みになったことがあるだろうか。腕を後天的に無くした人が感じる「幻肢」、つまり幻の腕や足という現象をキーに、脳と身体の不思議に迫った本だが、河合氏らはこれをVRに使えないかと考えた。たとえば、データグローブをつけて、そこに虚像で腕を表示する。その状態で、虚像を動かす。すると自分の腕が切れて、虚像の腕に繋がったような錯覚を人工的に引き起こせるのではないか。この感覚を使えば、実際にディスプレイの中に手を突っ込むような感覚や、虚像同士のインタラクションの身体感覚を投射できるのではないか－－。現在、この実験を組むために準備をしているところだという。

錯覚を用いた仮想身体感覚誘発システム。視覚と触覚による錯覚を利用して、仮想の身体感覚を誘発することを狙いとする

　これ以外にも、両眼視野闘争という現象がある。両眼にまったく違う像を提示すると、像が左右交互に現れるというものだ。単眼(片目用の)HMDでは、使用する環境によって、日常では体験できないような視野闘争が生じるという。そのため、使用環境や方法をうまく調節することで、快適で新しいAR体験の呈示についても取り組んでいる。また、単純な立体映像にしても、立体映像同士でワイプをかけるとどうなるかとか、つなぎ方の研究もまだまだ未知な部分があるそうだ。今後、立体感の演出といった面でも、まだまだやるべきことは多い。そこと、触覚や嗅覚など、他の身体感覚の錯覚なども利用して、新しいコンテンツを制作し、その影響や効果を評価していきたいという。

　たとえば、実際の身体の感覚を消した感覚で、つまり虚像の手が自分の手だと錯覚した状態の人間を2人用意する。その2人が握手をしたらどんな感覚が得られるのか。『脳のなかの幽霊』では、幻肢の手でコップを「握って」もらった状態でコップを引っ張ると、腕が引き延ばされたように感じた被験者の話が出てくるが、人工的に引き起こされた幻肢でもそんなことが可能になるのだろうか。面白い実験がいろいろと考えられそうだ。

　「『マトリックス』ってあるでしょ。要は僕らなりの『マトリックス』を創りたいんです。だから、分かりやすいように、『マトリックス』が流行っている間に研究成果を出したいんですよね(笑)」

　インタビューの最後に、河合氏はこう語った。

　立体映像そのものは流行るのだろうか。取りあえず身近なところでは、まもなく地上デジタル放送が始まる。テレビ受像器も一斉に変わることになる。そのときにたとえば立体映像対応型の機械とすることができるかどうかが、立体映像普及の鍵になるのかもしれない。

　将来はどうなるのか。実世界に虚像が共存し、あるいはサイバースペースの中へのインタフェースとして立体映像が活用される時代が来るのかどうか。未来はまだ立体視できそうにない。

□早稲田大学 国際情報通信研究センター 河合隆史研究室のホームページ
http://www.tkawai.giti.waseda.ac.jp/

(2003年9月4日)

[Reported by 森山和道]