科学技術振興機構(JST)のERATO型研究(戦略的創造研究推進事業)「五十嵐デザインインタフェースプロジェクト」は、2011年7月23日(土)に日本科学未来館で第一回公開シンポジウムを開催した。2008年に始まったERATO五十嵐デザインインタフェースプロジェクトは発足4年目。これまでの3年間の成果が紹介された。

　まず始めにプロジェクト統括で、東京大学大学院情報理工学系研究科教授の五十嵐健夫氏が、プロジェクト全体の概要を解説した。「五十嵐デザインインタフェースプロジェクト」は、「これまでにない高度なビジュアルコミュニケーションおよび自己表現を手軽に行なうことを可能にするソフトウェア技術基盤を築き、個々人が創造力を発揮できる社会を実現すること」を目標に掲げている。具体的には、ごくごく普通のユーザーが、3次元CGやアニメーションなどを簡単に制作したり、衣服や家具などの道具をデザインして制作したり、将来家庭に入ってくる可能性のあるロボットのような高度な道具の行動をデザインできるようにするためのインターフェイスをデザインすることが目標だ。

　研究は1)映像表現のための技術、2)生活デザインのための技術、3)ロボット行動デザインのための技術の3つに大別されている。シンポジウムではそれぞれのグループリーダーが解説した。

東京大学大学院情報理工学系研究科 教授 五十嵐健夫氏	五十嵐デザインインタフェースプロジェクトの目的

　まず3次元形状表現やアニメーション表現などを手軽に行なうための技術の開発をした「映像表現のための技術」は、これまでにも五十嵐氏が継続して来た研究テーマである。例えば五十嵐氏は、線画を描くだけでほぼ自動的に3次元のものをデザインしてくれるソフトウェア「Teddy」などが有名だ。他には、絵の一部分をピン止めするだけでアニメを作ってくれるソフトウェアなどがある。これらについてはデモが五十嵐氏のWebサイトで見られる。中には「PICMO」のように商品化されているソフトウェアもある。

　今回のプロジェクトでは2次元表現ではよく用いられているレイヤー操作を3次元モデリングに応用した。例えば重なりあった布の上下関係をワンクリックで入れかえられる。しかも物体の表裏も考慮して矛盾がないように計算して入れ替えてくれる。

Teddy。スケッチを簡単に3次元化してくれる	レイヤー操作を3次元に

　また流体シミュレーションを組み合わせる研究も紹介された。例えば心臓の血管の手術を行なう上で、どこをどういう順番で切断して接合しなおすかといったことを、バックグラウンドで高速物理シミュレーションを行なうことで、スケッチをしながら説明するようなやり方で患者や家族に示すことができるといったアプリケーション例が示された。

【動画】心臓手術を説明するときなどに応用した例

　「生活デザインのための技術」も考え方は同様で、高速シミュレーションを背後で行なうことで、例えば型紙を変えたら3次元形状がどうなるかといったことをユーザーに同時に示すことができる。普通の人には、洋服の型紙から3次元形状をリアルに想像することは極めて困難だし、逆もまた然りである。しかしながら今回のプロジェクトでは、高速計算を可能にするアルゴリズムを開発したことで、服のしわの寄り方などもちゃんとシミュレーションで計算できるようになった。技術的にも計算が破綻しないように工夫されている。しかも今ならば型紙を描いてくれるのであればそれをカッティングプロッタに流せばそのままものを作ることができる。リアルタイムシミュレーションの面白さと可能性を感じる研究である。

　「ロボット行動デザインのための技術」は、ロボットを思いどおりに使いこなすための技術開発である。従来のプログラミングではない方法を使って、実世界で行動する計算機械であるロボットに対してどのように命令を与えるか、ロボットに対して固有の状況・ニーズに応じた固有の指令を出すにはどうすればいいかという研究である。ただし、この研究ではロボットを知的エージェントではなく道具として位置付けている。ロボットの指令としてありがちな音声認識やジェスチャーでの指令は抽象的すぎ、リモコン、ジョイスティックで操作するのは具体的すぎる、という。

　このプロジェクトでは、例えば環境中に指示を2次元コードで描いたコマンドカードをおき、ロボットは環境側のカメラでそれを読みとって指示に従うといったものが研究されている。他にも、服のたたみ方を教えると、それに応じてロボットがたたんでくれるといったものもある。基本的に、何から何までロボットあるいは人間がやるのではなく、自分なりのやりかたを人間がロボットに教えるというやり方だ。

　このほかロボット移動のアルゴリズムに関する研究も行なった。ロボとの大小にとわず、物体を目標地点まで押していくときに有効な移動のプランニング、またケーブルが引っかからないように動く移動経路プランニングの研究を行なっているという。現時点では2次元のみだが3次元にまで拡張されれば実際に使える可能性もあるかもしれない。

服のパターンを変えるとリアルタイムにシミュレーションして3次元モデルに反映する	マウスで服の畳み方を教えるとそのとおりにロボットが畳む	ロボットで物体を押すアルゴリズムの研究

筑波大学大学院システム情報工学研究科 准教授 三谷純氏

　パーソナルなものづくりを支援するためのインターフェイス研究を行なう「生活デザイングループ」をとりまとめている筑波大学大学院システム情報工学研究科准教授の三谷純氏からも研究紹介が行なわれた。現在、ファブラボ(fabrication laboratory)と呼ばれるオープンなものづくりが人気を博している。かつて数百万円していた3Dプリンタも低価格化しており、近い将来、各家庭で、DIYで個人ニーズに応じたものづくりが始まる可能性がある。ハードウェアはそれでいいとして、今回のプロジェクトは、ソフトウェア面でのパーソナルなものづくりを支援しようということを狙いとしている。

　従来のものづくりではデザインと解析に壁があったという。そこで三谷氏らは対話的デザインとバックグラウンドでの高速計算の支援によって、直感的なユーザーインターフェイス、リアルタイム処理、剛体物理シミュレーションや流体シミュレーションなどの物理シミュレーションによる機能予測などを盛りこんだソフトウェア開発を目指した。

高速計算を背景とした対話的デザインと物理シミュレーション	制約を与えることで解を出す	これまでのUIに捉われず発想する

　個別の研究としては、鉄琴の音板のデザイン例が紹介された。ユーザーが音板のかたちを変えるとリアルタイムに固有振動数を解析して、音板を叩くとどんな音が鳴るのか知ることができるというものだ。これによって従来難しかったデザインの鉄琴ができるようになった。処理を高速化する独自の「メッシュ再利用」と呼ばれる手法を用いることで、リアルタイムに有限要素法による解析を行ないながらモノを作ることができるのだという。鉄琴だけではなく、建物の構造の計算もできる。例えば窓がどこにあると建物の振動がどう変化するかを見ることができるのだ。基本的には従来と同じ方法で計算を行なっているのだが、手法の改良によりリアルタイムに変化を見ることができるので、多くの応用が考えられるという。

　風船のデザイン手法も紹介された。目的の風船を作る型紙を簡単に作るというものだ。風船を膨らませたり、くみ上げる前にシミュレーションで予測して型紙のかたちを示してくれる。ユーザーは型紙のかたちをまったく意識することなく、完成形のみをシミュレーション上で見ながら操作を行なってデザインすればいい。

　また写真の上にものを描くと、それを作ることができるというものも紹介された。写真画像の上に、例えば机の上にぴったり合う棚や、あるポットにぴったり合うフタの絵を描く。すると、コンピュータが勝手にデザインしてくれるのである。1枚の2次元の絵から、その条件を満たす3次元物体を最適化手法でデザインしてくれる。リファレンスに写真を用いたことと、最適化のアルゴリズムがポイントだ。

鉄琴の音板のデザイン。音板の形を変えたときの音の変化をリアルタイムに計算する	バルーンのデザイン。二次元形状を変えるとリアルタイムに完成後の姿も変形する	写真をリファレンスとして3次元物体をデザインする

　このほか、やじろべえのようなバランスをとるモノのデザイン支援を行なってくれる「キネティックアート・エディタ」も紹介された。ボールをパチンコみたいなものの上に落とすと、その結果をリアルタイムにシミュレーションして示してくれる。板の位置を変えるとボールの軌跡がどう変わるかリアルタイムに見られる。面白いのはシミュレーションの精度が動的に変化することだ。最初は高速に計算し、ユーザーが手を止めているときに、正確さを重視して計算しなおして、その結果を提示してくれる。このような工夫をすることでリアルタイムの対話的インターフェイスと、正確さを両立させた。

　このほか服飾デザイナーの支援例として、マネキンをリファレンスとして「こんな感じのスカート」が欲しいとデザインすると服のデザインと型紙をつくってくれる研究や、幾何的な制約を与えることで、例えば必ず転がるおもちゃを作る試みなども紹介された。さらに家具を実現するための「文法」をつくり家具形状モデルを構造推定するというアプリケーションも紹介された。

　これらのアプリケーションは日本科学未来館でのワークショップなどを通してユーザーテストも行なっている。物理シミュレーションも単に組み合わせるだけではだめで、リアルタイムに応答させるためには対象にあわせた工夫が必要だという。またマネキンを使った服のデザインのように「従来のインターフェイスにとらわれないことで新しいものづくりが可能になる」と三谷氏は語った。

剛体シミュレーションを背景としたキネティックアート・エディタ	幾何形状に制約を満たす形状の設計支援を行なうアプリの例	実際に制作したモノの例

慶應義塾大学大学院メディアデザイン研究科 教授 稲見昌彦氏

　「ロボット行動デザイン」グループの取り組みについては、慶應義塾大学大学院メディアデザイン研究科教授の稲見昌彦氏から紹介された。最初に稲見氏は、公立はこだて未来大学の棟方渚氏による「あるくま」というアプリケーションを、ロボットを使ったインターフェイスの例として紹介した。人とコンピュータと結びつける一環としてロボットをとらえて稲見氏は研究を行なってきたという。なおロボット入出力端末の一種として捉える試みの一環は、過去の記事などもあわせてご覧頂きたい。

　ロボット行動デザイングループでは、実世界に働きかけるためのコンピューティングとしてロボットに対するインターフェイスの研究を行なっている。実世界を操作するための手段としてロボットを活用するデザイン研究だ。

　ロボット操作のデザインといってもいろいろある。1つ目は、ロボットそのものは意識せず対象を操作する方法だ。例えばロボットにかたづけてもらいたいものを実世界を捉えたカメラを映した画面上で、ドラッグ&ドロップで操作する。するとロボットが動いて、それを片付けたりするというもの。また、テーブル上の配膳をカメラで撮影しておくと、ロボットが写真と同じように配膳してくれるアプリ例も示された。「レイアウトのコピー&ペースト」を想定しているものだという。ユーザーは操作したい対象だけを意識する。

タッチスクリーンを使ったロボット遠隔操作インターフェイス「TouchMe」	実物のロボットの上にCGが重畳表示され、そのCGを動かすとロボットも動く

　2つ目はロボットそのものを操作するもので、そのためのユーザーインターフェイスも研究している。例えばタッチスクリーンとAR技術を使って、ロボット本体やアームを操作する。ロボットそのものを遠目で見ているような感覚で操作できる。また独立行政法人産業技術総合研究所(産総研)デジタルヒューマン研究センターの加賀美聡氏らと、バーチャルな人型キャラクターを直感的に操作するための「アクティブパペット」の研究も行なっている。

　また、家全体や家具や家電自体がロボット化する可能性もある。そのため家具・家電とのインタラクションも研究テーマの1つだ。一例として「Pushpin」というアプリ例が紹介された。ピンを使ったスイッチなのだが、ピンとピンを無線通信で繋ぐことで、ユーザーがスイッチをデザインしなおすことができるアプリケーションだ。フィジカルなモノを使った簡単な「動作設計」、すなわちプログラミングが可能になったという。

　また、プロジェクトの中で渡邉恵太氏が開発中の「Smoon(スムーン)」というデバイスも紹介された。これは賢い軽量カップである。レシピに指定された分量に合わせて、軽量カップに付けられた仕切りが自動的に動き、中に入れられる量が自動的に変化する。ユーザーはカップ何杯かといったことを何も考えず、とにかくすり切りいっぱい入れればいいというわけだ。このような、工場で作るマスプロダクションではなく、家庭内のユーザーが自分がやりやすいようにカスタマイズできるようなもの、あるいはそういうことができる人をターゲットとしている。

　稲見氏は「手動と全自動の間」が重要だと考えているという。全自動の機器をユーザーがカスタマイズするのはハードルが高い。だが実際にはユーザーの環境や要望はさまざまで、ちょっとしたカスタマイズがエンドユーザーに許されていれば自由度は大きく広がる。そのためには、対象やタスクのエッセンスをできるだけ分かりやすく表現するためのデザインが必要になると考えているという。プログラムは言語の一種である。言語を使ってコンピュータとインタラクションするためのものがプログラミングだが、稲見氏らは、人の手を実世界で拡張するためのユーザーインターフェイス研究を行なっていると考えているという。狙うところは「かゆいところに手が届く、まさに孫の手を再発明するための研究」だと述べた。

　稲見氏らは「ヒューマン・ロボット・インタラクション(HRI)」ではなく「ロボティック・ユーザー・インターフェイス(RUI)」という言葉を使っている。RUIは、人とコンピュータを繋ぐところにロボットがいるという意味合いで、人とロボットがごくごく近いところにあると捉えているという。また将来、技術が進むとユーザーインターフェイスは透明化していくと考えられるが、稲見氏は透明化には時間方向と空間方向それぞれの制約があり、時間方向の透明化がどんどん進むと魔法のような技術ができるのではないかと持論を述べた。またヒト型アバターは人にとって操作しやすいと考えているという。

アクティブパペット。ロボットを入力インターフェイスとして使ってCGを動かす	Pushpin	「Smoon(スムーン)」。レシピに合わせて自動的に計量量を変えてくれる計量カップ

産総研デジタルヒューマン工学研究センター副センター長 加賀美聡氏

　この後、基調講演として、産総研デジタルヒューマン工学研究センター副センター長の加賀美聡氏が「デザインとインタラクションのためのデジタルヒューマン技術」と題して、デジタルヒューマン研究センターの研究内容の紹介のほか、加賀美氏自身が行なっているヒューマノイドを使った研究について講演を行なった。デジタルヒューマン研究センターが開発している「デジタルマネキン」(Dhaiba)や、それを使った体型データベースなどの研究/製品開発や製品評価手法、ボディベースの身体情報地図システム「BIS」による幼児の障害予防などの研究については、年に1回行なわれている公開シンポジウムのレポート記事(1、2)をご覧頂きたい。

　デジタルヒューマン研究センターでは単に技術開発をするだけでなく、人間をデジタル化することでさまざまな情報を引き出し、さらに成果を実際に企業との製品化へ応用したり、既存の遊具設置基準の危険性を指摘することで実際に法令を変えるなど、具体的に実社会に影響を与える成果を出している。日本発のデジタルマネキンの技術を使うことで、日本の製品が使いやすくなったり安全性が増すことになればいいと考えているという。来場者の多くも加賀美氏の講演に聞き入っていた。

デジタルマネキン「Dhaiba」	指先構造の個人差をモデル化して開けやすいパッケージのデザインに応用	歩行計測と解析から分かった人の歩行特徴マップ
さまざまな製品開発にも結びついている	成果の1つ、スパイクレスゴルフシューズ	身体情報地図システム「BIS」。幼児が怪我をしやすい場所などを統計データで示す

　また加賀美氏は、JSTの戦略的創造研究推進事業(CREST)の「実時間並列ディペンダブルOSとその分散ネットワークの研究」の研究代表者でもある。今回の講演ではその話はごく簡単に触れるだけだったが、ロボットが何を見たり何を考えたかをリアルタイムに人間に対して分かりやすく可視化するためのツールやロボットを遠隔操作するインターフェイス等が紹介された。

【動画】ヒューマノイドロボットを遠隔操作で不整地を歩かせる様子

　そのほか、マイクロフォンアレイを使ったスマートハウス内でロボットがサービスを提供するための各種技術、すなわちパスプランニングや行動のモデリング、データマイニングなどの研究成果が示された。人間も知らない家に行ったらどこに何があるかは最初は分からない。だが日々暮らしているとだんだんどこに何があるか分かるようになるし、物音がすればそれが何の音か分かる。また、普段と違う音がすれば異常事態が発生したとわかる。それと同じようなことをロボットにやらせるためにはどうすればいいかという研究だ。

　また、東京大学キャンパス内での自律移動ロボットを使った実験の様子を示した。家の中の話と同じで、何度も通っていると交通流のデータを蓄積することができるし、気をつけるべき場所がどこかもだんだんわかるようになる。しかしながら、このようなロボットは歩行者のルールに従うべきなのか、それとも車両なのかもまだ明確ではない。加賀美氏は最後にロボットを実世界、人の世界に持ち込むときに、どのようなルールに従うべきか、どんな壁を乗り越えればいいのかと問いかけた。

マイクロフォンアレイをつけた実験住宅でのロボット実験	変電所内を音情報を集めながら走行するロボット。
東大での自律移動ロボット実験の様子	データを蓄積することで人間や車など移動物体が出てくる場所が分かる

　なお日本科学未来館では、メディアラボ第9期展示「もんもとすむいえ」として、「五十嵐デザインインタフェースプロジェクト」の研究内容の一部を展示紹介している。会期は6月11日(土)～12月27日(火)で、展示は前期と後期に別れており、入れ替えられる予定だ。前期では主にロボットグループの研究が子供向けにアレンジされて展示されている。

【動画】洗濯物を折り畳む「Foldy」

【動画】ロボットを遠隔操作する「TouchMe」のデモ