■森山和道の「ヒトと機械の境界面」■ 箱から出るコンピュータ、実空間と融合するVR空間 ～テレコミュニケーション、テレイグジスタンスの未来

　12月9日と10日、東京大学本郷キャンパスにて「第二回テレコミュニケーション、テレイマージョン、テレイグジスタンスに関する国際シンポジウム」が開催された。主催は科学技術振興機構 東京大学 館CRESTプロジェクト。テレコミュニケーション、ロボティクス、VR、遠隔医療、マルチモーダル・インターフェイスなどの融合領域の研究が紹介された。今回は、講演とラボツアーの様子を交えてレポートする。

　開催初日の9日には、7人のスピーカーによる講演が行なわれた。

●遠隔コミュニケーションの未来～相互テレイグジスタンス

舘 教授

　まず、舘 暲教授からは「相互テレイグジスタンスの第2世代：テレサ2とツイスター4に関する報告」という演題で講演が行なわれた。

　テレイグジスタンスやR3(アール・キューブ)の歴史を振り返り、新規に開発された没入型フルカラー動画裸眼立体ディスプレイ「ツイスター」という、立体映像によって相互テレイグジスタンスを実現するデバイスと、テレイグジスタンスを実現するロボット「テレサ2(TELESAR 2, TELE-existence Surrogate Anthropomorphic Robot)」が紹介された。

　「イグジスタンス」とは、一言でいえば「そこにいる」という感じ、雰囲気、存在感のことだ。ツイスターはLED素子を回転させることによって生まれる残光と、回転パララクスバリアを使って立体映像を実現するデバイスで、これを使えば遠隔地の映像をよりリアルに受け取れるのではないかというもの。口で紹介してもピンと来ないと思うので、まずは写真と動画を見て頂きたい。

ツイスター。高速で回転するディスプレイのなかに人が入る、テレイグジスタンス用のブース	【動画】ツイスター。回転するLEDパネルの中心に入ることで、周囲に映像が浮かびあがる。回転パララクスバリアという手法を使うことで左右の目に入る映像を分けることで立体映像化している	【動画】こちらは旧型のツイスター3

ツイスター。デモ当日は常に回転していたが、フラッシュを焚いて撮影すると、その仕掛けが分かる		【動画】ツイスター内部の映像

同じく内部をフラッシュ撮影。カメラが見えるが、双方向のやりとり用	実際に回っているボード。白い部分がLED。これだけの幅しかないが、残像で絵が繋がって見える	ツイスターの原理

　電話ボックスならぬテレイグジスタンス用ボックスとでも呼ぶべきツイスターは、かなり巨大なもので、イベント会場などならともかく、家庭にはおけない。そこで、家庭にも置けそうなものとして、小型ツイスターあるいはツイスターの裏返し的デバイス「SeeLinder」も紹介された。これも写真と動画を見て頂きたい。

【動画】SeeLinder。どこから見ても映像が成立していることが分かる。首が浮いているようだ	SeeLinderの仕組み。「ツイスター」が回転するディスプレイの中に入るのに対して、こちらは外から見るデザインになっている

　また、舘研では再帰性反射材を使った光学迷彩の技術を研究していることでも知られているが、現在、その技術とロボットを組み合わせて、テレイグジスタンスを実現することも目指している。テレイグジスタンスには2段階あり、映像だけですむ場合はツイスターそのほかを用い、映像以外の作業を接触して行なうとなるとロボットが必要である、というのが舘研究室の考え方だ。

　研究室公開で初公開されたのは、マスタースレイブ型のロボット「テレサ2(TELESAR 2, TELE-existence Surrogate Anthropomorphic Robot)」。操縦者の動きに合わせてロボットが動く。これに再帰性反射材を塗り、人間の姿を投影すれば、ロボットを見ている側も、もうちょっと感情移入、あるいは操縦者の存在感を感じることができるのではないかというわけだ。

再帰性反射材を使ったデモ		テレイグジスタンスしているロボットに、再帰性反射材を塗布して、そこに操縦者の映像を映し出すイメージ

【動画】操縦している人の動きそのままロボットが動く。操縦者の視野はロボットの頭部のカメラ。操作している感覚は「誰かに外から手を掴んでもらって、そのまま腕を動かしているような感じ」(開発者の一人、多田隈理一郎氏)とのこと	スレーブ側ロボット。腕の重さは7.3kg。7自由度。「バイラテラル・インピーダンス制御」という技術で、腕の一部が柔らかくなっている点が技術的な売り

マスター側。腕に巻き付けられているのは加速時計で、その動きを余分な1自由度に割り振っている

　テレサ2は、愛・地球博期間中の2005年6月9日(木)から19日(日)まで開催される「プロトタイプロボット展」にて、光学迷彩の技術と合わせた形で、ロボットの内部に操作者の3次元映像を投影するというデモを行なう予定だ。

　VRはこれからさらに、さまざまな感覚を提示したり伝える方向、マルチモーダルの方向に進んでいくという。

●遠隔インタラクション、遠隔医療

　続けて海外からのスピーカーが2人講演した。

　まず、ヘルシンキ工科大学 自動化技術研究所アールネ・ハルメ(Aarne Halme)教授は「遠隔オペレーションから認知を基礎とした遠隔インタラクションへ」と題して講演した。

　ハルメ教授は「サービスロボットの時代は到来目前だ」と語り、戸外で人間と一緒に働けるケンタウロス型のサービスロボット「WorkPartner」を開発している。雪のなかや草原を踏破するできる4輪を持ち、人間とほぼ同じ大きさの上半身を持つ。自律的に動くこともできるし、人間がウェアブラルコンピュータなどを身につけて遠隔操縦したり、タスクを教えてやることも可能だ。詳細は動画や写真もあるウェブサイト参照。

ヘルシンキ工科大学のハルメ教授	WorkPartner。バッテリとエンジンで駆動し、重量は約230kg。時速7kmで移動できる。胴体中央部で前後は分離しており、可動できるようになっている

【動画】雪かきをするWorkPartner(教授が講演会場で見せた動画を再撮)	【動画】WorkPartnerに3次元マウスを使って動作を教えているところ(教授が講演会場で見せた動画を再撮)

　ロボットと人間を協調させて仕事を行なうためには、タスクを学ぶための共通シンボルが必要だというのがハルメ教授の考え方で、意味のあるオブジェクトをRFIDなど人工的なビーコンでサインしてやれば、ロボットも実世界で人間と仕事ができるようになるという。

ワシントン大学リチャード・サタバ教授

　続けてワシントン大学医療センター外科のリチャード・サタバ(Richard Satava)教授が登壇した。講演題目は「遠隔医療、バーチャル・リアリティ、医療を変革するその他の技術」。

　現在、ロボットや車など、工学の世界ではモデルベースの設計や開発が進んでいるが、将来はそれが医療にも進出してくるという。まず身体をモデル化し、それに対して操作を行ない、その結果を見たあとで術式を決め、実際の患者に処置を行なうことができるようになる、というのがサタバ教授の考えだ。

　ロボットは単なる機械ではなく「情報システム」であり、CTスキャナーもまた単なるイメージング機械ではなく情報システムとして捉えるべきだという。そしてロボット、イメージング、モデリング&シミュレーション等の考え方は「情報システム」という考え方で統合して見直されるべきだという。

　米国国防総省の研究・開発部門であるDARPA(Defense Advanced Research Projects Agency)のDefense Sciences Officeにも籍を置く同教授は、将来の軍隊の医療についてのビジョンを示すビデオをまず提示した。

【動画】教授が提示した事例を再撮した動画

　将来、兵士は全て事前に身体を3Dスキャンされ、そのモデル化データをおさめたドッグタグを首から提げるようになる。そして緊急事態には、患者からの呼吸や出血状態などを瞬時かつ自動的に読み取って処置を行なう「インテリジェント・ストレッチャー」からのデータを、患者本人のドッグタグから読み取った身体モデルに重ねる。そのデータをベースに、ロボットが手術を行なう、というものだ。もちろんデータは読み取りと同時に手術室に送られるので、患者が運ばれてきたときには既に準備完了しているわけだ。

　一足飛びにそこまで進歩するとは思えないが、現在、カメラとマイクとハンドを持ち音声認識で動く、手術中の医師支援ロボットなどを開発しており、実際に米陸軍は戦闘地域での将来の医療は、ロボットで提供したいと考えているという。またインテリジェント・ストレッチャー「LSTAT」のウェブサイトではテストの様子を写真で見ることができる。

手術補助のナースロボット	未来の手術室

　教授はさらに、昆虫に埋め込めるほどの小さなMEMS(Micro Electro Mechanical Systems)デバイスを使った神経外科技術、遺伝子医療そのほかの技術を紹介。グレゴリー・ストック、レイ・カーツワイル、フランシス・フクヤマなど先端的な考えを述べた書籍の内容についても触れ、「テクノロジーは未来を変え、ホモ・サピエンスを変える。問題は今や『できるかできないか』ではなく、『やるかやらないか』だ」と述べた。

神経の活動を取るための電極の数々	サルを使った実験の解説。神経からのデータを直接、多電極で計測することで、脳の働きを計測することができ、それを使ってロボットアームなどを動かす研究が進められている	脊柱に埋め込まれるMEMSセンサーのイメージ

　東大でも手術ロボットは研究されている。10日のラボツアーでは、光石・割澤研究室のコンピュータ支援手術システムも公開された。

人工膝関節手術用のロボット。これまで人間の医師だと5mm程度の誤差が出ていたところを、この機械を使えば0.5度にまで抑えることができるという	削られた膝の模型。こういうふうに削ったところの上に人工膝関節をつける	微細手術用ロボット

先端部	こちらのマスター装置で、立体映像を見ながら操作を行なう

●建築の庭化：箱を捨てよ、街に出よう!?

　午後は建築家で慶應義塾大学教授でもある隈研吾氏による「デジタル・ガーデニング」という講演から始まった。

　隈氏によれば「ITが建築の仕方を変えつつある」という。その関わり方は1つ目はまず形そのものを変えるということ。そしてもう1つは、コミュニケーションの仕方そのものをITが変えつつあることで、それによって建築や都市が変わるという。

建築家・隈研吾氏	ディスプレイの上で筆を動かすと、そのとおりにロボットが動いて「石庭」を作るというメディアアート

　「従来は『箱』のなかで人間は住んだり仕事していた。そして箱の表面でコミュニケーションをしていたが、今は箱を必要としていない。私はこれを『建築の庭化』と呼んでいる」(隈氏)

　もともと日本文化は建築よりも、庭を重視する文化であったという。庭といっても固定しているのではなく、変化していく、流動していくものだと捉えていた。建築は庭を観賞する脇役であったという。

廣瀬通孝教授

　これからはIT技術で庭に住むんだ、と考えると建築のあり方も変わってくるという。具体的には、これからは建築そのものを隠し、またITによって、メッセージがそのあたりの空間に溶け込んでいて、それによってコミュニケーションが生まれる、そんな形の建築が生まれてくるという。

　その隈氏らと愛・地球博での「環境型パビリオン」などを提案していたのが東大先端研の廣瀬通孝教授だ。「環境型パビリオン」とは、ウェアラブルコンピュータを身につけることでMR(ミクスト・リアリティ)あるいはAR(オーグメンテッド・リアリティ)技術で、実在の林などのなかで展示物を見ようというもの。実際には難しいということで実現は限定された形になるという。ただしこの「領域型」と呼ばれる情報支援技術は、明治村などの屋外型博物館や、上野の国立科学博物館での一部展示などでは使われている。

環境型パビリオンの例。実際の森のなかでオペラをやろうという案もあった		国立科学博物館でのテレビゲーム展で用いられた「ユビキタス・ゲーミング」用端末。子ども達が持って会場内を歩き回ると、それに応じて情報が提示される

　廣瀬教授は「箱が消滅するのは建築だけではない。コンピュータやVRの世界も同じ」と、隈氏の話を引き継いだ形で講演を始めた。これまでのVRは全面投影される箱のなかでのものだったが、これからはリアルな空間を体験しながら、バーチャルな空間も常に体験する、といった形になるという。

　ユーザーの位置情報やコンテキストは、環境に埋め込んだタグやユーザーが身につけるウェアラブル機器で取る。そのような情報サービスでは空間を歩き回ることが「情報の入力」になる。歩き回ることでユーザーは新しいサービス・アウトプットを受けることができる。

　現在は、そのような時代に何ができるかを探るため、ユーザーにセンサーを貼り付けて、長時間にわたる人間の行動ログなどを取っているところだ。

位置検出を使った行動ログ	長期間の行動ログ。これは6カ月分。大きな塊で、同じ仕事ばかりしていた時期などが見える。将来は、このような長期ログと、短期間の行動ログを結びつけるインターフェイスやアプリケーションが必要になってくるだろう	個人体験記録のためのウェアラブル・コンピュータ

背面にPCが入っている	こちらは嗅覚提示のためのウェアラブル・システム

　これからは、空間的なものと情報的なものが組合わさったようなものが情報サービスやアプリケーションの主役になるという。「今後はコンピュータが『箱』から、ストラクチャー化されていない世界、リアルの世界に飛び出していく。ある意味で、これからはすごく野蛮な世界へ出て行くことになるので、VRの技術も、もっとロバストな世界へいくことになる」と廣瀬教授は述べた。

　10日のデモでは、実空間に立体に見える映像を創り出す「リアルワールド・アバター」などの研究成果が披露された。

リアルワールド・アバターを創るための撮影室外見	内部。壁にぽつぽつと見えるカメラで全身の映像を撮影する	【動画】Tablet PCのなかで、撮影されたモーションJPEGが再生されている。これを回転させると、立体映像が見えるという仕組み。当日は調子が悪く、デモされなかった

●未来の外科訓練

　ノースカロライナ大学チャペルヒル校のグレゴリー・F・ウェルチ(Garegory F. Welch)助教授は、「オフラインでの外科的訓練とオンラインで遠隔相談のための3次元テレプレゼンス」と題して、2次元ビデオではなく3次元画像で現実の外科処置を記録し、再生する研究の現状について講演した。

　将来の医療従事者は、ベテランの医療者による緊急処置などを、自分が見たいあらゆる角度から、いつでも何度でも再生して見ることができるようになるという。

ノースカロライナ大学ウェルチ教授	医療学習用のImmersive Electronic Book。こういうものを作ることが目標だという	基本コンセプトは単純。まず多数のカメラがついたもので処置過程をまるごと撮影する

撮影されたデータから、3Dデータを生成する。このとき、必要に応じて編集作業も行なう	注釈そのほかがつけられた3Dデータを必要に応じて閲覧する

　将来は「スタートレック」に出てくるホロデッキのようなものを作り、そこに3D画像を投影して緊急医療チームのトレーニングを行なうといった計画も持っているという。

　このシステムによって、これまでは「やり方」だけを教わっていたような現状から、いつ、どのようにやるかを分かりやすく学習者に伝えることができるとしている。

未来の医療トレーニングのイメージ

●実世界で得られるリッチな情報をどう扱うか

　最後に東大大学院 情報学環の苗村健助教授が「空間指向ヒューマンメディア技術」と題し、人を中心とした技術の重要性について述べた。これからは実世界の情報を豊富に使うことが必要であり、同時に、その中から必要に応じて情報をセパレートしていくことが大事だという。

　苗村助教授らは、画像撮影時に赤外線を使うことで、人間を背景からリアルタイムで切り分ける「サーモキー」という技術を開発している。人間の体は周囲よりも温かいので、その境界線から背景を切り分けることができるのだ。

　クロマキーなどと違って特別な背景はいらない。また、人間の顔だけにモザイクをかけるといったこともできるので、プライバシー保護にも用いることができる。認識技術などを使っていないので、安定して動くところがポイントだという。

苗村助教授	サーモキー用カメラの原理	サーモキーを使ったリアルタイム・モザイク処理

　また「LIFLET」という3次元キャプチャリング技術も面白い技術だ。たとえば、穴から向こう側が見えている画像があるとする。近寄っていくと、実空間ならばより広い範囲が見えるようになる。これを仮想空間上で実現しようとしたものだ。

　普通に力業でやろうとすると、3Dレンダリングを行なうか、あるいは多数のカメラで撮影したものを再生する、といったテクニックを使わなければならない。だが苗村助教授らは「ポリゴンを再現するのではなく、光を再現する」というコンセプトを取り、しかもカメラではなくレンズをたくさん並べることで3Dの視点を再現することに成功した。

　もともと物体にあたった光線は四方八方に反射している。それをレンズアレイによって、まるごと記録してやればいい、というものである。

LIFLET。視点を近づけると近づいたように見える。ミラーや水の反射も近づいたら近づいたように見える	原理図	視点がどこにあっても、再現できる

　実際にデモ動画を見ると、普通にカメラを動かして撮影したようにしか見えないので、この驚きは非常に伝えにくい。だが「そのように見えたら成功ということです」(苗村助教授)。

　そのほか苗村研では、立体映像を自由に回転させて見ることができたり、別の人間と対面できる透明な球を使った「i-Ball」、見る方向によって違う映像を提示可能な「ルミサイト・テーブル」、補色効果を使って白い床にカラフルな影や動画を投影できる「Movie In Shadow」などをラボツアーで公開した。

【動画】i-ball 2。装置下部にあるLCDからの映像をレンズを通じて透明な球のなかに結像させ、球のなかに立体映像が浮いているように見える。透明な玉を回すと立体映像そのものを回して見るような感覚を得ることができる	【動画】Lumisight Table。どの方向から見ても正位置で見える地図や、逆にそれぞれの方向でべつべつのものが見えることを応用してカードゲームなどにも用いることができる

【動画】一人で見ることもできる。間にミラーを立ててやると、本来向こう側にいる人間向けに投影されている映像と、自分の姿が見える。これはそれを使ったピンポンゲーム。こちら側でボールを打ったあとは、鏡の世界の球の動きを見ながら、ミラーに映った自分の腕を操作して、ボールを打ち返さなければならない。これが意外と難しい! ところが、鏡の概念が未発達な子どもは、あっさりクリアしてしまうのだという	Movie In Shadow。自分の影がカラフルになったり、影だけに画像が表示されたりする。上部にある2台のプロジェクターからは、それぞれが投影した色が重なると白になるように計算された色(補色)が投影されている。そのため影になって片方が遮られると模様が見える、というわけだ

　いろいろな研究がある苗村研だが、共通点は「人間が扱うことを前提として、リッチな情報をどう扱うかということ」だという。

●新しい空間を合成する

　リアルとバーチャルを1つに合わせること、あるいは時間的・空間的に離れた2つの空間を合わせて新しい空間を合成することが今回のテーマだった。ロボット、VR、ウェアラブル、ユビキタス、建築など多種多様な技術やサービスが合成されたところに、新しいアプリケーションが生まれる可能性があるはずだ。

　本来繋がりを持たないそれぞれの研究者たちが、1つの観点で繋がったとき。そこに生まれるだろう「新しい何か」を期待する。

□テレコミュニケーション,テレイマージョン,テレイグジスタンスに関する国際シンポジウム
http://www.star.t.u-tokyo.ac.jp/crest/index-j.htm
□愛・地球博で展示されるロボットの概要
http://www.expo2005.or.jp/jp/N0/N2/N2.1/N2.1.101/index.html

(2004年12月15日)

[Reported by 森山和道]