ユーザーがリビングルームに入る。すると、ゲーム機が自動的に顔を認識して、誰が入ってきたかを判別する。ゲーム機は自動的にそのユーザーのアカウントでログインして、音声でユーザーに「何をする? 」と尋ねる。ユーザーが「○○をプレイしたい」と言うと、ゲームが自動的にロードされ、すぐにプレイできるようになる。

　ユーザーはコントローラを一切使うことなく、ゲームをプレイする。格闘ゲームなら身体全体のアクションでゲーム内キャラクタを操作する。カーレースゲームなら仮想のハンドルを操作する手振りでクルマを運転する。ペイントソフトなら音声でカラーを指定して手振りジェスチャで色を塗って行く。

　やがてゲームに飽きると、ユーザーはジェスチャでゲームをストップさせる。それから、メニューに戻り、手振りと音声でメニューを操作する。ユーザーが呼び出したのは、話し相手にしているバーチャルキャラクター「マイロ」。ユーザーは、マイロと今日あったことを話す。マイロは、ユーザーの表情や会話の内容から、その場に即した会話をしてくれる……。

　Microsoftが描いた、これからのゲーム機のユーザーインターフェイスの姿をまとめるとこのようになる。マーケティングの常として、ムズがゆくなるような理想化がされているものの、技術的な方向性はまさにこの通りだ。

　Microsoftは、この革新的なインターフェイス技術の研究プロジェクト「Project Natal」の概要を、6月2日から米ロサンゼルスで開催されたゲームエキスポE3(Electronic Entertainment Expo)に合わせて開いたカンファレンスで明かした。内容を見れば一目瞭然なように、これはゲームの入力インターフェイスを使いやすくするといったレベルの話ではなく、コンピュータに初めて本格的なナチュラルユーザーインターフェイス(NUI)を導入するという話だ。

Microsoftの研究プロジェクト「Project Natal」

　人間の顔や動作、音声などを認識するNUIについては、コンピュータ科学では古くからさまざまな研究が行なわれてきた。MicrosoftのProject Natalも、根底をなす技術自体はそれほど奇抜なものではない。にも関わらず、E3でのMicrosoftの発表には衝撃があった。それは、技術の見せ方と、いつどのように提供するかという実現性が突出していたからだ。

　まず、実現性については、Microsoftは次のように宣言した。

　「Project Natalがローンチする時には、Project Natalはすでに我々が販売した全てのXbox 360でも、将来の全てのXbox 360でも動くだろう。新しいゲームコンソール(据え置きゲーム機)をローンチすることなく、インタラクティブエンターテイメントの新時代に飛躍できる。Project Natalは全てのXbox 360で動作する。そして開発キットは今日から、開発パートナーに届き始める」(Kudo Tsunoda氏(Creative Director, Project Natal)。

　Microsoftは、時期こそ明言しなかったが、Project NatalのNUIが、現行のXbox 360に付加されることを明言した。つまり、次のゲーム機ではなく、現世代のゲーム機で実現可能であり、Microsoftが提供しようとしていることを明確にした。

　このプランが実現して、Xbox 360のOS自体のUIとして使われるようになるなら、広く普及したコンピュータで初めて商用レベルで本格的なNUIが採用されることになる。もし実現するなら、歴史的なマイルストーンとなるだろう。

　ナチュラルマンマシンインターフェイスは、もちろん汎用のコンピュータプラットフォーム向けにも、はるか以前から研究されて来た。Project Natalも、その延長線にある。MicrosoftのProject Natalのハードウェアとしての実体は、深度(depth)センサーとRGBカメラを内蔵した専用センサーで、これも以前から複数の研究がレポートされていた。

　しかし、広い範囲でのNUIの実用化は、PCでもなされていない。Microsoftの計画が実現すれば、PC OSがたどり着くより前に、ゲーム機がその高みに到達することになる。汎用性の高いはずのPCの方が、ユーザーインターフェイスの改革でゲーム機に後れを取ることになる。つい数年前まで、まともなグラフィカルユーザーインターフェイスすらOSに備えていなかったようなゲーム機にだ。

Project NatalはXbox 360で実現する

　PCの方が、単価が高くハードウェアの発展も継続的に行なわれることを考えれば、これは奇妙だ。ハードウェア単価が安く、プロセッシングパフォーマンスなど機能も固定的なゲーム機が、積極的に先進的なユーザーインターフェイスを導入しようとしている。

　もっとも、E3でのデモは、ゲーム機がこの部分で先行することが、自然であると感じさせるものだった。実は、大きなポイントはそこにある。Microsoftがデモで見せた技術は、それ自体がすごいというより、ゲームデベロッパらが手がけた演出や応用方法がうまい。エンターテイメントという目的とも合致しているように見える。そして、それは、ゲームデベロッパの力と経験が、ナチュラル型のユーザーインターフェイスの適用で活かされることを示している。

　実際、MicrosoftのProject Natalの説明やデモで表に出てきたのは、ユーザーインターフェイスの研究者たちではない。Project Natalを担当するMicrosoftのKudo Tsunoda氏(Creative Director, Project Natal)や、印象的なデモを作成したMicrosoft傘下のゲーム開発スタジオLionhead StudiosのPeter Molyneux氏を始めとして、いずれも、ゲーム開発畑出身の人物ばかり。彼らのデモが、MicrosoftのNUIを、説得力あるものに見せていた。

　ゲーム機は、NUIの適用の面で、彼らの力を使うことができることが、大きな利点となりそうだ。これは、NUIは、ゲーム機にこそふさわしいことを意味する。そして、NUIは、ゲーム機がPCのような汎用のコンピュータと競える、家庭のコンピュータとして確立するためのカギになるかもしれない。

　例えば、Xbox 360などゲーム機がNUIの導入に成功すれば、コンシューマはゲーム機のユーザーインターフェイスに慣れ親しむ。その結果、何をするにも、PCよりゲーム機のインターフェイスの方が使いやすいと感じるようになるかもしれない。

　現状では、ゲーム以外のことをやる時は、PCのユーザーインターフェイスの方が使いやすいと感じるユーザーが多いから、ゲーム機の利用方法が拡大しない。しかし、NUIのおかげで、その壁が取り払われれば、立場が逆転する可能性もある。もちろん、そうした発展の部分は未知数だが、Microsoftのデモは、そうした潜在性を示すものだった。

　任天堂がこじ開けたゲーム機のユーザーインターフェイスの改革は、新しい展開へと向かいつつある。

Project Natalのデモ

　これまでのNUIの“見せ方”は、2つの方向に集約される。1つは、SF映画チックな夢物語風のプロモーションムービー。ハイテク企業のカンファレンスの冒頭やCMで流されるヤツで、「ウソだけど夢を謳う」的なものだ。もう1つは、大学の研究室などが作る不器用で実直なテクノロジデモ。学会の発表の中で、デモ映像として流されるようなシロモノで、「現実に何ができるかを示す」的なものだ。この2つの間には、大きなギャップがあり、それが、ナチュラルマンマシンインターフェイスを現実にもたらすことの難しさを物語っていた。

　今回のMicrosoftのはどうだったかというと、プレゼンテーションは3つのパートに分かれる。まず、最初の1/3は今まで通りのマーケティング屋の作ったプロモーションムービーで、これは多くの示唆はあるものの現実味はやや薄い。あくまでも、イメージを沸かせるためのものだ。

　真ん中の1/3は、実機を使った実演デモで、ここでは、実際にどのようにNUIが働くかが示された。学会などで見せるデモの発展系で、より洗練されて、実用性が高いことが示されたバージョンだ。ゲームで実際に使える精度であることを見せるもので、それなりのインパクトがあった。

　最後の1/3は、Microsoft直参のゲーム開発スタジオであるLionhead Studiosが作った「Milo Project」と呼ばれる“デモのムービー”だ。この3つ目は、ゲームデベロッパがProject Natalのインターフェイスを使うと、どんな見せ方ができるかを示していて興味深い。つまり、ゲーム機ならではの応用の一例となっていて、新しいヴィジョンを示すものとなっている。

　では、具体的なMicrosoftのデモとムービーはどうだったのか。

　Microsoftのデモの3パートのいずれにも共通しているのは、これまでにない精度でマシンがオブジェクトを認識している点。人間の身体や手、人間が持っているモノなど、さまざまなオブジェクトを、正確に認識しているか、正確に認識できるという設定のムービーになっている。ここが特筆すべき点で、CCD/CMOSの2Dカメラに向かってジェスチャを行なうこれまでの技術とは、明らかに違うレベルだ。

　例えば、イメージムービーの中では、冒頭で触れたカーレースゲームの操作が示される。ここでは、プレイヤーが、仮想のハンドルを目の前で握って、そのハンドルを回す動作をすると、それに応じてゲーム内のハンドルが切れる。ギアチェンジの動作をすれば、それに応じる。タイヤ交換では前後にプッシュ&プルする動作で、タイヤを外す。

カーレースゲームのデモ

　ここでは、これまでは検出が難しかったようなユーザーの動作を、マシンが検出している。具体的には、身体の前に突き出した2つの拳でのハンドル操作とか、前後に腕をプッシュ&プルする動作とか、これまでは検出が難しいか不可能だったモーションだ。

　実機デモでは、身体全体で操作する3Dブロック崩しがデモされた。画面奥から飛んでくるボールを、四肢と身体を使って跳ね返して、画面奥のブロックを崩すゲームスタイルだ。インゲームのキャラクターが、ユーザーの動作にリアルタイムに正確に応じてプレイしていた。MicrosoftのKudo Tsunoda氏(Creative Director, Project Natal)が次のように語っている。

　「このデモでは、ユーザーが、手や腕を振るだけではなく、3D空間を自由に動き回ることができる。ユーザーのどんなモーションも、予めセットしておく必要はない。ユーザーが動きたいように動くだけで、操作できる」。「我々が望むのは、このようにユーザーが自分のリビングルームを自由に動き回ることができる新しい能力だ。身体の動きによって、アバターを完全にコントロールすることを実現する」。

　つまり、Project Natalではこれまでにない精度でモーションのキャプチャが可能になる。どうやって、Microsoftはこれを可能にしたのか。カギはもちろん深度センサーだ。これは次回のコラムで説明したい。