■森山和道の「ヒトと機械の境界面」■ 人間の認識力を拡張する、オリンパス「シンクロリアリティシステム」

WPC EXPOで展示されたVAIO type Uを使った端末

　今年のWPC EXPOのウェアラブル関連展示を行なっていた「チームつかもと」ブースで、オリンパスが「シンクロリアリティ(Synchronized Reality)システム」という技術を展示していた。「見えているものに関連する情報を重畳表示」できる技術だという。

　実際のデモンストレーションはチームつかもとがサポートした鈴鹿8耐のサーキットのコースマップ模式図をカメラをつけたVAIO type Uごしに覗いて見ると、CGのバイクが図のコースの上を走っている、というものだった。コースマップ上に重ねられたCGはカメラを動かしてもずれることはない。

　実は模式図のあちこちに描かれた矩形で囲まれたスポンサーのロゴを「マーカー」としてビジョン認識して検出し、その歪み方や大きさ、向きなどの情報から、カメラの位置や対象からの距離を逆算して表示しているのだという。しかも動いているのは単なるCGではなく、実際の今年のレースのデータをもとに生成したものだという。

　単なる画像をオーバーレイするだけではなく、過去に行なわれたレースの実データを、ビジュアルで再現して見ることができる。会場ではほかにも、雑誌の記事のレースクイーンの写真をauのケータイで撮影すると、その子の情報を見ることができたり、壁紙がダウンロードできるというサービス「Sync★R」(シンクル)という技術のデモンストレーションも披露されていた。

　実際にやってみると、きちんと認識させるのがちょっと難しい。画面内の矩形に反応して識別するため、複数の矩形が入ってくると、迷ってしまうのだ。だがセンターだけを認識するように作り込むことはもちろん可能だという。

　ほかにも色々な可能性を秘めていそうなこの技術について、オリンパス株式会社 総合経営企画室 アライアンス企画部 アライアンスグループに詳しい話を伺った。

シンクロリアリティのコンセプト	Sync★Rはカタログなどの写真を撮影してその関連情報にアクセスできる	認識デモのサンプル。中央のCamedia C760とCamedia C770が別の機種としてきちんと認識できるほど精度は高い

●オリンパスのキーテクノロジー
　～画像の入力、加工、出力とシンクロリアリティ

　取材に対応して頂いたのは同社総合経営企画室・アライアンス企画部アライアンスグループリーダーの柴崎隆男氏と、同・アライアンスグループの古橋幸人氏。

　「一般のユーザーは、デジタルカメラのイメージで当社をとらえていると思いますが、実際には医療システムも大きく当社を支えています」と柴崎氏。画像を取り込むハードウェア、システム、たとえば内視鏡や顕微鏡など、とにかくカメラによって取り込んだ画像をどうするのかという視点は、オリンパス社内では古くからある話だという。シンクロリアリティもその一環であり、「画像の入力、そして撮った画像をどう使うか。その一環の技術として当社では位置づけられています」(柴崎氏)。

オリンパス株式会社 総合経営企画室・アライアンス企画部グループリーダー 柴崎隆男氏	オリンパス株式会社 総合経営企画室・アライアンス企画部 古橋幸人氏

シンクロリアリティはミクストリアリティの一種

　シンクロリアリティは基本的にはバーチャルリアリティ(VR)、なかでも「ミクスト・リアリティ(MR、複合現実)」と呼ばれる技術の一種だ。ただし、MRが環境側にセンサーその他を要求するのに対し、シンクロリアリティ技術ではカメラで撮るだけですむ。カメラ画像を自己位置推定のセンサーとして使っている点もMRとの区分点だという。「MRの一種であることは否定しません。画像の入力装置の会社なので、人間が見て認識するのと同じような感じでできないかな、ということです」(柴崎氏)。

　なおオリンパスはVRの領域では、特に内視鏡を使った医療用アプリケーション、手術ナビゲーションシステムを東京女子医科大学と共同で研究・開発してきた。柴崎氏や古橋氏もそれらの開発に従事してきた人物である。

　手術ナビゲーションシステムについて簡単に説明しておこう。内視鏡の視野は狭い。手術して見ているところのすぐ横に、傷つけてはいけない神経や血管があっても、見えないことがある。医師はそれを頭に入れておかないといけない。それを、事前に計測した患者自身の実データをCGにして重ね合わせて、見えない部分を提示してやることが可能になるというものだ。詳細はオリンパスの広報誌等を参照されたい。

　また同社は、「STコード」という2次元コードを開発し、今年2月に発表している。枠の中のドットを使って情報を記録するタイプの2次元コードである。シンクロリアリティは、これらの技術の補完関係、あるいは融合したところにある技術だと推測できる。

　そろそろ本題に入ろう。シンクロリアリティは「注視している対象物に関連した情報を、画面内の対象物位置に応じて付加表示するシステム」だ。カメラで撮った画像から、事前にマシンに教えておいたマーカーを認識し、カメラ位置を算出し、実画像に合わせた形で関連した情報を重畳表示する。すると人間に対する情報密度があがる。同社では「多次元表示」と呼んでいる。

　マーカーは既知の意匠などを使う。アイコン、メーカーの看板、人間の顔、製品画像など、なんでもいい。現時点では矩形のなかに描かれたもの、ということになっているが、単に写真だけではなく、実物でもいい。たとえばCDやDVDのパッケージでも可だ。必ずしも真上や大きく撮る必要はない。自分と相手の位置関係を知るための技術だ。

　もちろんマーカーの知識は事前に読み込ませておく必要があるが、QRコードなどの2次元コードと違って、人間が普通に読み取ることのできる文字や画像をそのまま使うことができる点がアドバンテージである。

●アプリケーション、デモ例

　プラットフォームはPC、PDA、ケータイ、そして車載用のテレマティクスなどの組み込み系の4種類を想定している。認識やマーカー作成のソフトウェアはクラスライブラリとして提供される。レンズの歪み等を補正するためのパラメータ修正機能などもクラスライブラリのなかに含まれているので、ユーザーが意識することはないという。現在、「数社に提供している」そうだ。

　現時点で使われているアプリケーションはケータイで雑誌誌面を撮影することでウェブサイトへ誘導する「Sync★R」技術だが、これはシンクロリアリティのコンセプトをフルに使ったものではない。本来はやはり実世界に重畳表示して情報を提示したいのだという。フルレンジのシステムを使ったサービスも来年度の実現を目指して開発しているそうだ。

　そのほか、これまでにPDAを使ったものやTablet PCを使ったアプリケーションを開発している。

現在シンクロリアリティが展開中の4分野

　1つ目の用途はプラント保守である。核燃料サイクル開発機構の「ふげん」は、2003年3月29日に運転を終了、現在廃炉に向け解体検討中だ。この解体そのものが今は研究テーマとなっており、「廃止措置エンジニアリング支援システム(DEXUS)」なるものが開発されている。その一環としてシンクロリアリティシステムが使われているのだ。

　プラントの柱やキャットウォークにマーカーがつけられ、カメラを通してみることで、人間には見ることのできない放射線の情報が、蜘蛛の巣上のメッシュとしてオーバーレイされる。リアルタイムではないが、実際に計測された実データの可視化だ。放射線量が多い危険な箇所を確認しながら作業を進めることができる。

　一般用としては観光案内がある。2003年3月に青森大学の上谷彊輔(かみや・ひょうすけ)教授、青森デジタルアーカイブ推進協議会らと共同でテストケースとして実施したものだ。カメラ付きPDAでマーカーを撮影することで、史跡などの現場で情報をユーザーに提示する。

　実験上ではいかにもマーカーといった感じのものを使ったが、将来のイメージとしては、案内図などをそのままマーカーとして使うことを考えているという。いずれにしてもセンサーを事前に埋め込むのではなく、カメラ付きケータイのようなもので気軽に使うことを想定している。

　さらに柔らかいところでは、慶應義塾大学 稲蔭(いなかげ)研究室と共同で「やさい日記」なるアプリケーションも開発している。やはりカメラつきPDAを使ったもので、カメラでマーカを撮って、PDAのなかで「やさい」というヴァーチャルキャラクターを育てるもの。マーカーには既存の道路標識を使った。

　人間から見ると標識なのだが、「野菜の世界」では水とか太陽になっている、というイメージだ。街中に出て、道路標識を撮影するとそれが栄養になって野菜たちが成長していく。それを紙の日記に書く、というアプリケーションだった。

　個人的には野菜自身がウェブログをつけてくれるほうが「野菜」を媒介にして自分の現実の行動を振り返ることができるので面白いと思うが、育てていく過程をゲーム性としたことや、道路標識を使うという点は面白い。当時はPDA上でしか動かなかったが、今ならケータイが使えるし、現実世界とのリンクにGPSを使うこともできるので、もっと面白いことができそうだ。

●シンクロリアリティが実現した世界は?

　シンクロリアリティを使えば、たとえば店頭でCDのジャケットを撮ると、そのままウェブサイトに飛んで試聴できるとか、あるいは雑誌のプレゼントコーナーを撮影するとその製品情報や応募サイトに直接飛ばす、といったことができる。

　さらにもっと時代が進めば、同社が考えるように単にウェブサイトに飛ばすだけではなく、オーバーレイさせることもできるようになるだろう。

　また、駅の出口で目的地に行くために手近なランドマークをのぞけば、方位ではなく「あっちが目的地ですよ」と教えてくれることもできるかもしれない。「そのときにユーザーさん自身が見ている情報を軸に情報を出してあげたい」と古橋氏も語る。ビジョンを使えば、それができるのではないかという。自分が地図の上でどっちを向いているのか分からなくなった経験は、誰しも持っているだろう。それは結局、自分が向いているのはどちらなのか分からないからだ。そんなときにケータイを通して街をのぞきこむだけで、東だ西だという情報ではなく、「あっちだよ」と矢印が出れば確かに便利だ。

　だが、この技術のもっとも面白いところは単なるCGや情報を表示するだけではなく、例えば過去の実際のデータをビジュアライゼーションして、いまの現実にオーバーレイすることができる点にあると思う。あるいは、通常のカメラ画像だとあり得ないマクロ映像や望遠映像を見せてやることもできるだろう。空間的にも時間的にも、これまでになかった「視点」や「視野」を得ることができるのだ。

シンクロリアリティの構造概念

　柴崎氏らは、シンクロリアリティの実現構造概念を4つの層に分けて捉えている。

　まず一層目が実体空間層、我々の現実空間だ。それとは別に、地形や地勢の3Dデータ、いわゆる3DGIS、気象データ、GPSデータ、建造物の3DCADデータなどで構成された、現実をデータ化した、バーチャル層がある。ここでの「バーチャル」は仮想という意味ではない。“Virtual”という言葉本来の意味、「実質的にリアルと同じ」という意味だ。実空間のデータで構成された層である。

　この2つの層の間に、現実とデータを繋ぐためのインターフェイス層と、個人ナビやテレマティクス、エンターテイメントなどのアプリケーション層がある、というのが彼らのイメージである。

　シンクロリアリティは、第2層の技術、道具に相当する。もちろん欲しいのは人間の生活を豊かにするアプリケーションである。実空間のデータ上で、実データが動く。そのような環境のなかで、実データを重ね合わせて見せることができるようになったら、人間は、これまで見られなかったものを見ることができるようになる。

　たぶん最初は、ケータイをかざして実空間をのぞきこむと、そこから色々な情報が見える、という感じになるのだろう。何かを積極的に探したいときにユーザーが能動的にかざすというアクションはインターフェイス面でも頷ける。

　だがさらに将来は、ユーザーが気づいてないが気づくべき情報を積極的に提示してやるようになるのではないだろうか。

　内視鏡の例を上記で述べたが、それは一例だ。手術は特殊だと思われるかもしれないが、では、車の運転時はどうだろうか。街中で、脇道にいて、まだ見えてない歩行者の様子を見ることができたら、多くの事故を防ぐことができるはずだ。

　あるいは右折や左折のとき、後ろにいるバイクや自転車の情報を運転者に適切に指示することができたら……。ここにどんなふうに画像技術が使えるか。たとえば現在のフロントガラスには枠がある。そこの部分をいっそのことディスプレイにして、車載カメラで撮った映像をシームレスに見えるように表示して補完してやる。そうすれば事故を防ぐことができるようにならないだろうか。

　柴崎氏も「現代人はそういう能力が落ちているんですよ。多次元な情報を感知できなくなっている。時間軸、空間上でも人間が持ってない情報を提示してやることができないか」と語る。

　たとえば、チームつかもとで見せていたようなデモにしても、将来はバイクの動きだけではなく、ピットのなかの人間がどのように動いていたかをあとでチェックできるようになるだろう。さらに進めば、リアルタイムで自分自身の動きを真上や後ろから見ることもできるようになるかもしれない。たとえそこにカメラがなくても、データからリアルタイムで画像を生成して提示してやればいいのだ。「ピットでの作業を俯瞰で提示して、次はお前がそこにいると邪魔じゃないか、と教えてやることもできるようになるかもしれませんね」(古橋氏)。

　このような技術の方向性は、現実のバーチャル化、「バーチャライズド・リアリティ(現実仮想化)」と呼ばれている。

●当面の目標はアミューズメント

　少し話が飛びすぎたが、基本は画像を取り込んで、それを加工してユーザーに提示することだ。当座のターゲットは、ケータイ電話だが、ここから技術を身近なものにしていって、色々な応用へ展開していきたいという。

　いきなり安全技術に使うのは無理だ。だが認識精度などが甘くても許されるアミューズメント関係なら色々可能性があるのではないかという。最近はプレイステーション2用にも「EYE TOYプレイ」などが普及し始めているように、ああいったアミューズメント機器にカメラがついてくると色々なことができる。

　たとえばカードゲームなら、カメラを有効に使える。RFIDの類では単なるカードの有無しか認識できないが、ビジョンならばカードの位置関係や向きなども判断できるので、どこの場所にどの向きにカードを置いたのかもわかる。その情報を使って、ユーザーのアクションに応じてテレビのなかにアニメそのままの雰囲気で「召還」する、といったことができる。古橋氏も「ですから、そういう技術に興味があるゲームベンダーはうちに声をかけて下さい」と積極的だ。

　大規模なシステムを使えばいろいろなことができるが、とにかく使ってもらえる機会が多いケータイでできる程度のことからはじめていき、そこから入って、リアルタイム・シミュレーションの世界へ……。画像認識、加工、その技術はどんな未来を見せてくれるのか。楽しみにしている。

ノートPCの前にあるサイコロ状のものを、手前のWebカメラが認識し、ノートPCに表示された実写上にCGを重ね合わせる。写真のデモでは、サイコロ上のキャラクタに“ジャンケン”的な強弱設定がされており、出目に対して勝敗が表示される。カードゲームなどへの応用もおもしろそうだ

□オリンパス株式会社
http://www.olympus.co.jp/
□ニュースリリース(Sync★R)
http://www.olympus.co.jp/jp/news/2004b/nr041111syncrj.cfm
□Sync★Rのホームページ
http://gwmj.jp/

(2004年11月25日)

[Reported by 森山和道]