【IDF特別編】RealSenseが目指すコンピュータの新しいまなざし

　コンピュータと対話するためのもっともリーズナブルな方法は何なのか。それを追求してきたRealSenseに新たな展開が見えてきた。人間が対話したいのは本当はコンピュータなのではない。コンピュータに人間の知覚を拡張してほしいのだ。「バーチャル」をいったん否定してみることで、その新たな展開が始まる。

人間がコンピュータに合わせるのでは意味が無い

　Intelが、Perceptual Computingを叶える旗頭として、RealSenseを最初に紹介した2012年のIDFから4年が経過した。この世界では、ずいぶん息の長いコンセプトになってしまった。だが、Intelは執念深くこの技術に力を注ぎ続けている。今年のIDF16でも5度目のお披露目としてRealSenseがもたらす世界観がさまざまな場面で提示されていた。

　IDF12で人間の知覚に近いものをコンピュータにもたせるデバイスとして紹介されたこの技術だが、それを実現するために深度を理解できる3DカメラデバイスとそのユセージモデルをRealSenseという名前で呼ぶことが発表されたのは、2013年の年初にラスベガスで開催されたCESだった。以来、Intelはことあるたびに、RealSenseをアピールし続けてきた。

　IDF16の初日、約6,000人の参加者が集まった基調講演会場では、オープニングパフォーマンスとして、いわばエアドラムとエアシンセによる演奏が披露された。そこに楽器は何もないのに、ドラマーはスティックを持ってドラムを叩く素振りをする。片やキーボードをなぞる。RealSenseカメラはそのミュージシャンの動きをとらえ、それでドラムビートが鳴り響き、鍵盤でメロディを奏でるデモンストレーションだ。

　演奏の様子を見ていると、相当にトレーニングを積まないとここまでうまく演奏するのは難しいように見える。実際、ミスタッチに近いものも散見できた。明らかに人間がコンピュータに合わせている。コンピュータに理解されやすいジェスチャとは何なのかを身に叩きこまなければああはならないだろう。

　もっとも難儀なのは、ドラムにしてもキーボードにしても、叩いたことによる返り、つまり、フィードバックが人間に感じられないことだと思われる。最終的に人間が感じるのは、結果としての音だけだ。しかも叩いた瞬間からのレイテンシーは、ますます演奏を難しくする。

　ドラムをスティックで叩けば音が出る。そこに太鼓がなくても強く叩いたのか、弱く叩いたのか。そのことをコンピュータは理解することができるだろう。でも、叩いている本人は強く叩いたつもりでも、ドラムからの反作用がなければ感覚として自分のスティックの叩き加減が感知できない。結果としての音の返りだけでは、なかなか加減が難しい。もちろんタイミングの妙も求められる。

　それでもきちんと楽曲として成り立って聞こえるのはすごいことだ。このテクノロジーが、まだまだ進化の余地を残しているということでもある。相当にトレーニングを積めばちゃんとできるということが立証されている。でも、その裏側には、人間がコンピューターに合わせるという努力が必要だという事実が残っている。

　こうしたことから考えると、このオープニングアクトは、これまでのRealSenseそのものだ。でも、RealSenseは変わろうとしている。

コンピュータではなく人間の知覚を拡張

　RealSenseは、コンピュータに人間に近い知覚をもたせることを目指してきた。その使い方のモデルとしては、身振り手振りでUX(ユーザー体験)を実現するというものがある。例えば、画面上に表示されるボールをつかんで穴に入れるといったことを身振りだけでコンピュータに伝える。これは、そこにボールがあるのに実際には触れないというもどかしさから脱却することができない苛立ちがある。言ってみればサランラップで包まれたごちそうを身振りだけで食べたつもりになるというイメージか。

　おまじないとしてのコマンドを入れてコンピュータに意図を伝えたり、画面上に表示される要素をマウスやタッチで操作することで何らかの処理をさせるUXは、とにもかくにも人間が、周辺デバイスを通してコンピュータにさわるという体験をかなえていた。

　RealSenseも、最初はそうした周辺デバイスとして、コンピュータに知覚をもたせることだけを目指してきたように思う。つまり、コンピュータにとっての入力デバイスとしての使い道が模索されてきた。

　その一方で、今年のIDFで紹介されたProject Alloyでは、RealSenseを人間の知覚の延長として捉えようとしている方向性が強く感じられた。AlloyはVRのためのオールインワンヘッドマウントディスプレイだが、RealSenseを実装することで、加速度センサーなどが検知できる以上のことを検知する。そして、それが人間のまなざしの結果としてディスプレイ上に視覚情報として展開されるのだ。つまるところは、コンピュータの知覚でありながら、人間の知覚を延長しようという試みだ。そこにあるのに触れないというもどかしさ転じて、そこにあるかのように人間の目に映るという点で、見えないものが見える新たなまなざしを人間にもたらすものだといえる。

RealSense、その新たな展開のキーワードは「マージド」

　Intelがこれだけ長く取り組んでいながら、テクノロジーとしてのRealSenseは、なかなかその使い方のモデルを確立できないでいた。それでも、デバイスとしてのRealSenseは、年を追うごとに進化し、今回のIDFでは、大幅に小型化、そして機能を向上させたIntelRealSense Camera 400 Seriesが紹介されている。Windows Helloの普及のために、Microsoftは、RealSenseよりも大幅に機能を落とした赤外線による深度カメラを搭載したデバイスを提案しつつあるが、Intel自身はRealSenseを諦めない。初代のRealSenseカメラを知っていれば、ここまでコンパクトになったことに驚きも感じる。これなら一般的な2in1 PCに実装するのも無理がない。

　さらに、Alloyによって、コンピュータとの対話のためにコンピュータに知覚を持たせる目的でRealSenseを使うのではなく、人間の知覚を増幅するという手法を提案した。

　コンピュータが知覚を持つという現象面での実装はこれまでと同じかもしれないが、使われ方のコンセプトはこれまでと真逆と言ってもいい。そして、そのコンセプトを分かりやすい形で提示するには、VRというモデルはうってつけだったということなのだろう。

　そしてそれは、バーチャルの世界にリアルを持ち込むということでもある。これもまた真逆の発想だ。リアルの世界にバーチャルを持ち込むと同時に、バーチャルの世界にリアルを持ち込む。どちらが上でも下でもない。それこそが、Intelの考える「マージド」という考え方なのだろう。

　これまでのRealSenseは、PCに展開する際に、前面カメラがメインだった。それは操作する人間を理解するためだ。だが、今後は、背面カメラにRealSense、あるいは前面と背面の両方という使われ方も出てくるに違いない。