ペンとVR HMDでスプレッドシートを操作するタブレット向け空間UI

　コーブルク大学(Coburg University of Applied Sciences)、Microsoft Researchおよびケンブリッジ大学は、VRヘッドマウントディスプレイ(HMD)を利用したペンとタブレットによるスプレッドシート向けインターフェイスを開発した。

　スプレッドシートがタブレット端末上で操作しづらい問題を解決する技術として開発されているもの。VR HMDとペン、タブレットを組みあわせて、各デバイスのセンサー情報などをもとに空間UIを提供する。開発段階ではHTC Vive ProとSurface Pro 4を用いてGoogle Spreadsheetを操作。アプリケーションはUnityで作製され、ペンとタブレットの動きはOptiTrackのモーションキャプチャシステムで読み取っているという。

　具体的には、一般的なペンで画面内のUIに触れる操作だけでなく、ペンの高さを活用した階層式のメニュー表示、傾きを使った操作などが可能。VRの強みである空間の広さを活用したシートの表示領域拡大や全体図の確認機能に加え、複数シートをまたぐ操作や一覧化、視線とタッチ入力を利用した選択操作といったものも用意されている。

　また、3次元の視覚情報が提供できることを活かし、シートを垂直に配置する機能のほか、互いのセルの参照状態や入れ子になった関数の状態をわかりやすくレイヤー表示し確認できる機能なども備えている。

　同グループでは、より複雑な作業も可能となるような改善や処理性能の強化を図るほか、複数ユーザーによる共同作業への対応や、ペンやジェスチャによるスプレッドシートの編集、タッチのみでの操作の検討、さらにはVR空間での文字入力など研究を進めていくとしている。

セルの参照状態が立体で確認できる