■森山和道の「ヒトと機械の境界面」■ 人生を記録するVR ～記録と記憶、記憶は情報処理できるのか

　2004年7月5日、第13回VRラボシンポジウムが東京大学工学部で開催された。「VRラボシンポジウム」とは東京大学バーチャルリアリティ教育研究共同体が主催しているシンポジウム。代表はVR研究で知られる東京大学工学系研究科計数工学専攻の舘 暲教授。

　毎回、ロボットや認知、神経系刺激装置など非常に興味深いテーマが扱われている。筆者は出来る限り出席して勉強させてもらっている。

　第13回目となる今回のテーマは「人生を記録するVR」。現在進みつつある、人生を記録するテクノロジーの現状や問題点、今後の可能性や方向性について、東京大学の相澤清晴教授、同・廣瀬通孝教授、作家の美崎薫氏、情報通信研究機構の上田博唯氏、名古屋大学の間瀬健二教授が講演を行なった。

●日常体験の取得、処理、利用

東京大学新領域基盤情報学専攻 相澤清晴教授

　まず今回のシンポジウムのオーガナイザーでもある東京大学新領域基盤情報学専攻の相澤清晴教授が「ライフログ：体験の情報処理」と題して講演を行なった。

　従来、机を前にして受け取るものだったメディア技術と違い、新しく登場しつつあるモバイル技術は、日常生活を見守りサポートするものへと変貌しつつある。そのためには日常体験を人間がどのように符号化しているのか、記憶しているのか、概念化しているのか、共有のメカニズムはどうなっているのかといった研究が必要になる。

　そのため、ウェアラブルコンピュータなどを身につけて、見たり聞いたりする日常体験全てを記録し、それに何らかの処理を行なうといった研究が増えてきた。Forget-me-not、MylifeBitsなどの試みだ。またプライバシー問題などへの懸念があり中止になってしまったが、DARPAのLifelog Project等もある。また「Pervasive2004 Workshop : Memory and Sharing」のような関連ワークショップも実施されている。

　相澤教授らは自分たちの生活をデジタル化したいというモチベーションで「ライフログ」という研究を始めている。GPS、ジャイロ、加速度計のほか、脳波計なども身につけて、ユーザーの生理情報や行動のログを取っていこうという研究だ。

　人間の生活を1日16時間、70年間、ブロードバンド品質で録画しても736TBですむという。だが問題は、どうやってそれを検索するかだ。自動的にインデックスを作る技術が必要である。

　画像をインデックス化するにはヒストグラムの変化量を見て、つまりコンテンツの変化を見てインデックスを作るという手法が一般的だ。だがライフログのような映像だと似たような画像が延々と録画されることが予想されるので、その手法では役に立たない。そこでいつどこでどんなシチュエーションで撮影したかというコンテキスト情報を活用する、というスタンスで相澤教授らは研究を行なっているという。キーフレームの抽出は、人間の動きやアノテーションの付加によって行なわれる。

ライフログのデータ取得のブロック図	録画された映像	ライフログシステムはGPSで自動的にビデオとユーザーの現在位置をマップしているので、記録は地図上にもプロットされる

　今後の課題は、ウェアラブルセンサと環境センサの統合的利用のほか、体験記録の複数ユーザー間の共有、そしてこれまでは対象としてなかった会話シーンの検出などを組み合わせて、産業応用の可能性を探っていくことだとまとめた。

●バーチャル・タイムマシン

東京大学先端科学技術センター・廣瀬通孝教授

　続けて東京大学先端科学技術センターの廣瀬通孝教授が講演を行なった。廣瀬教授は現在、産総研にも籍を置き、「バーチャル・タイムマシン・プロジェクト」の企画を行なっている。

　これは人間の行動を網羅的に観察・分析するための技術「ビヘイビア・マイニング」、人間の行動結果をシナリオとして提示する「可能世界シミュレーション」、時間軸の圧縮・伸張・共有などこれまでにない時間感覚を与える「実時間ヒューマンインタフェース」の3つの技術項目から構成されるプロジェクト。

　単に「現在」をモニタリングするだけではなく、過去のアーカイブ、そこから予測される未来のシナリオなどを縦横無尽に駆使して、いわば時間軸を制御し、人間の意志決定において有用な情報処理技術を作ろうという壮大な計画だ。

　「ユビキタス」が空間を超えてネットワークやコンピューティングパワーを利用できる技術を意味するのに対し、時間を超える技術がバーチャルタイムマシンなのだという。

バーチャル・タイムマシンの基本イメージ	バーチャル・タイムマシンの考え方

　突飛な考え方にも思われるが、よく考えればそうでもないのかもしれない。現在、過去の記録は意識していなくてもどんどん蓄積されつつある。捨てないかぎり残っている電子メールは良い例だ。この、「意図しなくても記録が残っていく」という点がポイントなのだと廣瀬教授は言う。

　また、未来にしても、実際にはかなりの人が予定表に沿って行動しているわけで、かなりの確率で明日のある時間にどこにいるかは予想できる。また駅ナビのように、あらかじめ調べたシナリオに基づいて行動する機会も増えてきた。これはある意味、未来の情報を活用しながら現在を生きているわけで、ここにちょっと気の利いた行動シミュレーターみたいなものを間にはさめば、かなりのことを予測できるのではないかという。確かに、少なくともある程度の予言力は持てそうである。

　廣瀬教授はかつて『空間型コンピュータ』(岩波書店)という著書を著している。だが今や空間だけではなく、時間方向にも広がりつつあるのかもしれない。「コンピュータはアーカイブの箱であり、同時にシミュレーションの箱」なのだ。

　実際にはどのように実現していくのか、自動的に記録し、解析して未来を予測し、時間軸を操作するインタフェースという3つの技術項目を実現していく必要があるわけだが、モノとしては、ウェアラブルやセンシングルームなどを使うことになるかもしれないという。

　具体的には個人のためのバーチャルタイムマシンは超整理法的な新たな情報整理が可能な手帳やPDA、あるいはケータイのようなもの、あるいは新しい種類のアルバムのようなものとなり、産業用としては時間を自由に巻き戻せる会議室、さらに社会応用としては時々刻々の状況に対応できるカーナビや、より安全を創出する技術となることを目指したいとした。

バーチャル・タイムマシンのプロトタイプイメージ	個人用バーチャル・タイムマシンの全体像イメージ

計測データの一部。首を大きく動かして、ランドマークを注視していたことが記録から分かる	会議室バーチャル・タイムマシン用の「ミーティング・ブラウザ」。音声認識やキーフレーズの検出などを使い、重要な発言部分だけを話者ごとに特定できるようなものを考えているという

　廣瀬教授は「20世紀の技術は空間拡大の技術だった。21世紀は時間克服の技術の時代」だという。何も考えずに作業日報ができたり、現在の様子を止めてみたり、膨大な量の映画を見られる時代が来るかもしれないと夢を語った。

●記憶する家

　作家、ライターの美崎薫氏はウィーンの画像を出しながら日々大量の写真を撮り、すべてをデジタルアーカイブ化していく日常について、実践者として語った。

　美崎氏は自宅を「記憶する住宅」と名付け、自らもその解説記事をネットや書籍『デジタル空間ハウス』(ソフトマジック)等で執筆し、紹介している。読んだ書籍や論文などはもちろん、映画パンフレットやチラシ、新聞記事、小学生時代の通信簿や恋人からのラブレターに至るまでスキャンしてデジタルアーカイブ化している。2000年頃から始めたスキャン画像は、いまや66万枚に及ぶという。

美崎薫氏。「未来生活デザイナー」	美崎氏のハイパーテキストのリンク数とファイル数。7階層くらいまででほぼ全てのファイルが繋がっているという

　研究では記録には動画を使っているものが多いが、現時点ではものの雰囲気を伝えるには写真が一番だという。もちろんアノテーションをつけたりハイパーリンクを張って体系化するということが前提である。美崎氏はハイパーリンクを張るのが簡単だという理由でBトロンを使っている。なおアーカイブは4重バックアップを取っているそうだ。

　蓄えてどうするのか。美崎氏は、「見る」ことが非常に大事だという。そのため普段からディスプレイ上では写真をスライドショウさせている。それによって、記憶を絶えずリフレッシュさせ、増強させているのだ。興味があるものがあったらすかさず目をとめ、情報を付加したりリンクを追加したりする。

　「マテリアルがたくさんあって瞬間的にそれが色々見られることは人生を豊かにする」と美崎氏は語る。また「過去を溜めてそれを見ることは『今』という意識を変える」という。そのためには死蔵されがちな紙よりも、むしろスライドショウで見ることができるデジタルアーカイブのほうが良いという。それによって、想起のためのきっかけとできる点が非常に重要だとし、将来は壁掛けカレンダーのようにディスプレイを飾り、そこに写真をスライドショウさせることになるかもしれないと語った。

●見守る家

独立行政法人情報通信研究機構けいはんな情報通信融合研究センター 上田博唯氏

　独立行政法人情報通信研究機構けいはんな情報通信融合研究センターの上田博唯氏は「ゆかりの家 やさしく見守る」と題して講演。「ゆかりプロジェクト」はユビキタス社会における生活支援技術としてのロボット型インタフェースを提案するもの。今年3月末にけいはんなに完成したユビキタスホーム研究設備を使い、今後研究を進めていくという。なお「ゆかり」とは UKARI : Universal Knowledgeable Architecture for Real-LIfe appliancesの略称である。

　RFIDスキャナやカメラ、マイクなどあらゆるところにセンサーがついた家だ。中の住人はアクティブなRFIDタグを身につけ、床下の圧力センサと組み合わせて位置検出を行なう。12TBのストレージを持ち、5fpsで各部屋分で2カ月分の映像が記録可能だ。日時とカメラ番号を入れると、そのときの映像が引き出せるわけだ。

　これは情報弱者や家庭内孤立を防ぎ、家族の会話を取り戻すためのIT技術の方向性を探るための研究で、「ユビキタス社会における生活支援技術としてのロボット型インタフェース」の研究開発を行なっていくというもの。「ユニバーサルユーザ利用環境」構築を目的としている。

ゆかりの家の機器配置図。部屋中にセンサやカメラが配置されている	実際の家の様子。2LDK。天井のカメラのため、家というよりオフィスに見える	ユーザーが身につけるアクティブなRFIDタグ。読み取り精度が低いのが悩みの種で、しょっちゅう天井にのぼって整備を行なっているそうだ

　ゆかりの家ではネットワークで家電を結び、お互いの機能を参照して使えるようにするといったサービス連携の研究も行なわれる。それと同時に、行動データベースをベースにした、コンテキストアウェアなサービスの提供、サービスインタフェースを研究するグループの2つがあるという。

　ユビキタスホームのサービス提供は、基本はアンコンシャス型の自律的動作だ。つまり人間は何もしなくても、機械がお互いに連携をとって、快適なサービスを提供するというものだ。だが、それだけでは個々の人間に対するきめ細かなサービスや、多様なサービスは提供できない。

　そこで上田氏らはロボットまたはロボット型のインターフェースを使って、個別のサービスを提供することを目指そうとしている。家全体がお母さんで、ロボットが子供という「母親-子供」メタファを提案している。つまり家全体が常に人を見守っていて、一部のサービスを、ネットワーク家電等の操作を行なうロボットが提供する、というわけだ。

　母親-子供メタファの構成要素は、家全体を構成するアンコンシャスな母親メタファロボットと、3歳児程度の音声対話能力しか持たないがネットワークと家電の操作に関してはオタク的知識を持つ子供メタファロボット、そしてヒトとヒト、ヒトとモノのインタラクション、行動履歴などを持つ分散環境行動データベースからなる。

ゆかりの家でサービスを提供するための「分散環境行動データベース」の構成図	母親-子供メタファ	開発予定のロボット。首以外は自由度はない

　ロボットを「子供」としているのは、現時点では音声認識精度が低く人間と満足のいくコミュニケーションが取れないからだという。現在は東芝のアプリアルファとロボビーRを使っているが、新しいインタフェースロボットも使う予定だという。こちらは自分で動くことはなく、各部屋に一台ずつ置かれているものとなる予定だ。

　「ゆかりの家」は、一言で言えばセンサーを使って誰が何をしているか把握し、ロボットを使って人間に働きかける住宅だ。現在のシステムでも、天井のカメラを使って人間の目線を検出し、そちらにロボットの目線を向けるといったこともできる。ロボットと人間が同じ方向を向いているだけでも、何かコミュニケーションのようなものが感じられるところが不思議だ。また、記録を取るという点では、どこを向いていたかということ自体が非常に重要な情報となることは言うまでもない。

●インタラクション・コーパス、インタラクション・プリミティブ

名古屋大学 情報連携基盤センター 間瀬健二教授

　最後に「体験共有とインタラクションコーパス」と題して、名古屋大学 情報連携基盤センター/ATRメディア情報科学研究所の間瀬健二教授が講演した。

　間瀬教授は、まずエピソード記憶と意味記憶の違いなど、人間の記憶について述べた。その上で「記憶」と「記録」の統合が必要だとした。

　どういうことか少し説明しよう。機械による記録はあるがままに全てが記録される。だが焦点がない。ところが人間の記憶はそれとはまったく違い、選択的だし、興味の抽出が行なわれている。また概念化・一般化された形で情報表現されていると考えられる。また感情とも紐付けされている。つまり我々は、記録と記憶の相互変換みたいなことをやっているわけだ。

　将来、記録テクノロジーを本当の意味で人間の記憶の補完や体験共有に役立てていくのであれば、人間の行なっている、記録と体験(記憶)の相互変換のメカニズムを探る必要がある。

　そのような考え方を背景としつつ、間瀬教授らは物語を語ることを素材にして体験共有のアプローチを行なっている。物語は、語られる側はもちろん、語る側にも影響がある。体験を語るという記憶の操作・編集・要約作業を通して、体験共有や記憶支援を行なおうという試みだ。

　具体的には、エピソードを漫画で表現する「Comic Diary」やその発展形であるビデオ日記、カメラやマイクほか各種センサーを入れ込んだぬいぐるみセンサー人形などを使ったウェアラブルな記録機器、複数ユーザーをトラックするユビキタスセンサルームなどの研究を行なってきた。

Comic Diary。漫画だとエピソードは抽象化されているので一目で分かる	ぬいぐるみセンサー人形。形があるもののほうが話しかけやすいのではと考えたが、学生が持ちたがらないので困ったとか

ユビキタスセンサルーム。IRタグを使ってそれぞれのユーザーを識別し、簡単に自動要約をつくってくれる	ウェアラブルクライアント。これをつけて部屋のなかを歩き回る

　問題は、記録にはある種のジレンマがあり、起こっているそのときには、どれが価値があるか分からないという点だ。だから結局、まるごと記録していく必要があるのだが、ただそれだけで役に立たないので、あとでタグ付けや圧縮処理をしてやる必要がある。記録を蓄積していくと、そのうちあるパターンが読みとれるようになる。

　間瀬教授らは、記録からインタラクションのコーパスを取り出し、それはインタラクション・プリミティブによって構成されるという仮説を立てて、それをコミュニケーション支援、体験共有へと役立てられないかと考えているという。

インタラクションコーパス	インタラクションプリミティブ。ものを見る、人と会話するといったものを「プリミティブ」としてインタラクションを記述できるのではないかという試み

インタラクションコーパスのビューワー。各人ごとに色分けされており、どのようなインタラクションを行なったかがビジュアル化されている	インタラクションコーパスを応用したビデオサマリー。自動的に要約をある程度つくってくれる

　最後に間瀬教授は「人間は認知的環境に応じて原事象をどう符号化するか決めている。そこが記録を活用する情報技術においてもポイントになるだろう」と述べた。

　このあとの質疑応答では、実際に個々人の情報を記録していくための共通プラットフォームとしてはどんなものがいいのか、たとえば何か擬人化されたぬいぐるみ、あるいはロボットのようなものがいいのか、またプライバシー問題はどのように考えるべきかといった話が簡単に触れられた。

　また、このような技術が仮にどんどん普及していくと、外部記憶装置に人はどんどん依存していくことになり、やがてはそこから離れられなくなる。現時点でも情報技術はそのように人間存在を変えていきつつある。筆者個人はそのような点が気になった。

　実際問題としては、きちんと記録を録ることさえ現段階では難しいのが現状だ。この分野はまだまだ始まったばかりである。だが、面白そうな可能性が徐々に見え始めていることも確かである。日記をつけている人ならば知っているとおり、人間の行動は意外なほどパターンにはまっている。もし記録があり、それに対して情報処理を行えるのであれば、ある程度未来を予測することはできるようになる。そうすると予測された未来に対して、人間は行動を変えていくだろう。人間は、これまでにはなかった、時間的な広がりを持つ視点をテクノロジーによって得ようとしているのかもしれない。

　また、人間の記憶がどのようなものかという点については、脳科学や認知科学の点からも、まだまだ見えていないことが多い。このような研究によって膨大なデータが蓄積されるようになれば、逆に何か人間の記憶手法の共通点などが見えてくることもあるかもしれない。そうなってくると、また新しく非常に面白い展開が始まるかもしれない。

□東京大学バーチャルリアリティ教育研究共同体
http://www.star.t.u-tokyo.ac.jp/vr-lab/
□東京大学新領域基盤情報学専攻 相澤研究室
http://www.hal.t.u-tokyo.ac.jp/index-j.html
□東京大学先端科学技術センター廣瀬広田研究室
http://www.cyber.rcast.u-tokyo.ac.jp/index_j.html
□美崎薫氏のホームページ
http://homepage3.nifty.com/misaki_kaoru/
□独立行政法人情報通信研究機構けいはんな情報通信融合研究センター 上田博唯
http://www2.nict.go.jp/jt/a135/member/hiro-u/ueda-4.html
□名古屋大学 情報連携基盤センター/ATRメディア情報科学研究所 間瀬健二教授
http://mase.itc.nagoya-u.ac.jp/~mase/index-j.html

(2004年7月12日)

[Reported by 森山和道]