ニュース

これは流行る!?普通のディスプレイとWebカメラで立体視を実現する技術

 Webカメラで顔の向きや位置を検知し、立体感のある映像体験を可能にする技術「Window Mode」が公開された。Daniel Habib氏が10月2日にXに投稿したもので、Webブラウザ上で実際に技術を体験できるデモなども提供されている。

 Window Modeは、Webカメラを使ってユーザーの顔をトラッキングし、その位置にあわせて3Dシーンをリアルタイムでレンダリングする技術。ユーザーはマウスなどで操作することなく、窓の中にある物体を覗き込むように、ディスプレイの映像から奥行き感のある体験を得られる。厳密には立体視ではないが、視差や遠近法、遮蔽によって、脳は立体映像を見ていると認識する。

 具体的には、まずWebカメラの映像から顔のランドマークと目の虹彩の中心を検出し、データから画面に対する頭の向きを推定。その頭の位置を仮想のカメラ位置としたビューを計算し、3Dシーンを投影する。外付けタイプやノートPC内蔵タイプなど、一般的なWebカメラで動作する点も特徴。

 このアプローチは17年前にJohnny Lee氏が考案した、Wii用リモコンを用いた立体視技術「ヘッドカップルドパースペクティブ」に近い。Lee氏の技術は、2つの赤外線を射出するセンサーを頭に取り付け、それをWii用リモコンのセンサーで受信し、2点の位置や2点間の距離を計算することで、ユーザーの頭の位置や画面との距離を計測するものだ。

 一方、現代のオンデバイスモデルとGPUにより、これらの装置なしにWebカメラだけで利用可能になった、というわけだ。低遅延な処理により立体的に感じられるようにしているほか、ジッターの除去によって安定した映像を実現。また、プライバシー保護のため、顔のデータはデバイス上で処理し、フレームごとに破棄するようにしている。また、標準再生に即座に切り替えるためのトグルなども備える。

 Window Modeを体験できるデモサイトに加え、対応する3Dファイルを動画ファイルから作成できるWebツールも提供されている。また、ソースコードもGitHubにて公開されている。