森山和道の「ヒトと機械の境界面」
東大、「どこでもキーボード」技術と空中映像を操作できる「AIRRタブレット」
（2014/4/17 12:00）
どこでもキーボード「Anywhere Surface Touch」
「ながらスマホ」問題に特に顕著だが、スマートフォンをはじめとする小型モバイルデバイスのインターフェイスは限界を見せつつある。入力にせよ出力にせよ、スマートフォンの物理的なあのサイズに縛られている限り、本質的な解決は難しい。デバイス自体の小型化に対応出来るインターフェイスはないものか……。
といったところで、高速画像処理技術や高速ロボットハンドなど、とにかく「高速」で著名な東京大学情報理工学研究科 石川 渡辺研究室が、机や壁どころか、自分の身体でも入力面にできる「どこでもキーボード」的なインターフェイス「Anywhere Surface Touch」を開発したと聞いたので、早速研究室に伺って見せてもらった。
「Anywhere Surface Touch」は、高速画像処理カメラと照明用の赤外線LED、そして接触した状態で音をとるコンタクトマイクのついた小型の箱である。この箱に手首に巻いて固定するためのベルトが付いている。基本的な使い方はこの箱を手首の下において、机などの表面を叩く。すると入力として使えるというものだ。
入力に使う表面は、机の上はもちろん、壁や自分の膝など、どこでもいい。150fpsのサンプリングレートを持つカメラで指とタップ面との接触を認識し、伝わる振動をコンタクトマイクで検知することで指の接触状態を識別できる。普通に指先でタップするだけではなく、左右にスワイプしたり、爪でタップするといった動きの違いも認識することができるのだ。カメラとマイクの情報を統合することで、5本の指の動きを認識することができるというわけだ。複数指のタッチも認識できる。
これらの動きを組み合わせてコードとすることで、100種類以上の入力が可能だという。現在はデフォルトをキーボード中段のタッチとし、スワイプによって上下のキーを指定するという運指法を採用している。デバイスだけではなく運指法もまだプロトタイプだが、柔軟な人であれば数時間程度で比較的自由に入力することができるようになるという。空中で指を動かすのではなく、物理的な実体を叩く動きを検出するところがポイントだ。
講師の渡辺義浩氏、デモ担当のD1の宮下令央氏に教えてもらって、実際にやらせてもらった。けっこう難しい。私の指では、まず五指がきちんと認識できるように腕を置くのも難しかった。人の手はさまざまで、プロトタイプを作るときに想定した手以外だと指が綺麗に見えないようだ。手首にカメラを付けて指の動きを見るというアイデアは面白いが、実用化においてはなかなか面倒な問題もありそうだ。ただし、ビジョン技術をもっと作りこむことで、そのあたりの問題は比較的簡単に解決可能で、しかもマウスのような操作も可能になるという。
ちなみに、奥行き方向の情報を取ることで、通常のQWERTYキーボードのような入力を目指すことも可能ではあるそうだ。だが、そろそろそこからは離れようというベクトルで研究は進められている。
また、今のプロトタイプは厚みがあるが、リストバンド程度に小型化することも容易だという。ただ薄くしてしまうと手の陰で指が見えなくなってしまう。その場合はカメラ部を手のひらあたりまで引き出して使うことになるのかもしれない。詳細は未定だ。今は敢えて、アプリケーションや入力方式の詳細は決めず、作り込みはしていないのだという。これぞという使い方を見つけたところがデファクトスタンダードをとるのかもしれない。
空中に浮いた映像に対して入出力操作ができる「AIRRタブレット」
もう1つ、石川・渡辺研究室では3月に、宇都宮大学オプティクス教育研究センターの山本裕紹(ひろつぐ)准教授(4月1日に徳島大学から異動)らと共同で、大変面白い入出力技術を開発して発表している。空中で入出力できる「AIRRタブレット」だ。空中に浮いた像に対して操作ができるのだ。空中で指を動かすことで落書きするようなこともできる。つまり出力も入力も空中に浮いた状態なのだ。
このシステムは石川研究室お得意の高速画像処理カメラによる3Dジェスチャー認識技術と、高速高輝度空中ディスプレイ技術とで構成されている。まずは，石川研究室による公式解説動画をご覧頂きたい。石川正俊教授が研究代表をつとめる、JST戦略的創造研究推進事業CRESTの「共生社会に向けた人間調和型情報技術の構築」の中の研究課題「高速センサー技術に基づく調和型ダイナミック情報環境の構築」の一環として行なわれたものだ。
こちらも体験させてもらった。まず誰もが目を引かれるのは空中に浮いた像が作られていることだろう。研究グループはこの技術を「AIRR」と呼んでいる。「AIRR」は「Aerial Imaging by Retro-Reflection」の略、すなわち「再帰反射を用いた空中映像の形成」技術という意味である。その名前の通り、光を入射方向にそのまま反射する再帰性反射材のシートと半透過鏡、光源を使ったシステムだ。この手の空中投影技術ではお馴染みの光学素子の位置合わせの必要もない。
何よりの特徴は広い視野角である。ほとんど真横に立っても像が見えるのだ。これには驚いた。読者各位も展示会等でお馴染みだと思うが、空中投影技術の多くは大抵は1人がごく限られた角度から覗き込むことしかできず、カメラで像を撮影するとなると大変だ。ところがこの技術の場合は、研究室の室内にお邪魔したら、もう見えていた。しかも部屋の照明も点けたままだ。もちろん大勢で見ることも可能だ。
あまりに自然に見える。普通に見えすぎていて空中に浮いている像だということを動画でお見せするのも少し苦労するくらいだ。取りあえず改めて見てもらいたい。
指で落書きすると、ほんの少しだけ遅延があることが分かるが、普通に触っている(実際には空中で指を動かしているだけなのだが)だけで、ほとんど表示の遅延は感じられない。ステレオカメラのサンプリングレートは500fps。両手を使うことで、スクリーンの拡大や縮小もできるし、パンチのような動作も認識する。位置ずれも感じられない。自分が思ったとおりの場所で入力ができていると感じられた。
実際には何もないのだが、自分自身が、空中で結像して見えている像のところで指や手を止めるように動かしてしまうのが不思議だ。何もないのに、抵抗があるかのように指を動かしてしまうことに不思議を感じた。空中に浮いた像、スクリーン面に、実感があるのだ。もちろん、実際には何もない。高速画像処理技術によって遅延や位置ずれがない入出力が実現されていることで、実感、実在感が生まれるのだろう。石川研究室が「高速」処理技術にこだわっている理由もここにある。人間に合わせるのではなく、人間を遥かに超える速度を実現しないと、人は違和感を感じてしまうのである。
映像を960fpsで表示できる高速LEDディスプレイは新規に開発したもの。映像信号のフレームレート制約によって表示遅延が20msある。わずかに感じられる遅延はこれによるものだが、現在、遅延を3msに抑えたものを開発中だ。だいたい10msを切ると人間には認識が難しくなると一般に言われている。LEDがもっと高密度になると、空中画像も高密度になる。
また、今の再帰性反射シートには超小型ビーズが使われているが、山本氏らは、さらに像をシャープにするために新たな反射材を開発中だ。再帰性反射材はいわゆる反射板などに使われているものだ。そのため通常の反射材はむしろ少し光が広がるように作られているのだそうだ。
ジェスチャー認識を行なうステレオカメラについては石川研究室の技術移転ベンチャーである株式会社エクスビジョンで製品化を進めている。驚くほど安価なシステムにすることができるという。たとえばカメラの価格はカメラ用の赤外線照明よりも安価にできるそうだ。
石川研究室ではほかにも、同じく東大の篠田裕之教授らとの共同研究で、超音波を収束させることによる非接触ディスプレイを2013年5月に開発/発表している。4g程度の力を1cmくらいのスポットに集中して提示できるという。非接触なのだが力を感じることができるのだ。今後はこれらのシステムとも組み合わせて今までにない情報環境の構築を目指す。