ニュース
HoloLensで国宝「風神雷神図屏風」を鑑賞できる“MRミュージアム”が公開
2018年2月21日 18:42
Microsoftのホログラフィックコンピュータ「Microsoft HoloLens」を活用して、国宝の「風神雷神図屏風」の鑑賞体験ができる、日本文化財のデジタルトランスフォーメーションへの取り組みが、2018年2月22日から一般公開されるのに先駆けて、その様子が報道関係者に公開された。
博報堂および博報堂プロダクツによって設置された、VR/ARの最先端技術を持つ「hakuhodo-VRAR」が、京都市東山区の臨済宗建仁寺派 大本山建仁寺所蔵の国宝「風神雷神図屏風」を題材に、デジタル技術を用いて、新しい文化財の見方を「体験する」ことを目的に開発したもの。
「風神雷神図屏風」を描いた俵屋宗達の意図や、作品に込められた願い、さらには題材となった「風神雷神」の由来、後世への影響などを、3Dグラフィックで表現している。
Mixed Reality(MR、複合現実)の特徴を活かして、実際の「風神雷神図屏風」を見ながら、そこに3Dグラフィック映像を映し出すことで、文化財の新たな鑑賞体験ができるとしている。
文化財にMR技術を応用したのは、世界ではじめてであり、文化教育や観光の新モデル確立を目指すという。
一般公開は、「MRミュージアム in 京都」の名称で行なわれ、体験者が実物の「風神雷神図屏風」の前でHoloLensを着用し、「風神雷神図屏風」の実物(複製)と3Dグラフィックが融合したMRの世界を、約10分間体験できる。MRミュージアムの案内役は、「風神雷神図屏風」を熟知する、建仁寺の僧侶が務める。
制作は、米シアトルのMicrosoft本社にあるMR専用3D撮影スタジオ「Microsoft Mixed Reality Capture Studios」を利用。僧侶が直接スタジオに出向き、3D撮影した。
日本のプロジェクトで同スタジオを利用したのははじめてだという。現在、同スタジオは、本社以外にもサンフランシスコおよび英国にある。
米MicrosoftのJeff Hansen氏(Senior Director of HoloLens Product Marketing, Microsoft)は、「HoloLensは、全世界39カ国で導入しており、そのなかでも日本は大きな市場である。すでに、NASAをはじめ、さまざまな業界で使用されているが、今回、文化財を対象にしたはじめてのコンテンツになる。そして、Microsoft Mixed Reality Capture Studiosにおいて、僧侶が、3次元で全身をキャプチャされたはじめての例になる。今後、日本での多くのソリューションを作っていきたい」と語った。
体験者は、雷や雨、緑豊かな大地、壮大な宇宙空間など、躍動感あふれる描写とストーリーに入り込むことができるほか、俵屋宗達に影響されて描かれた、尾形光琳や酒井抱一ら、琳派による別の「風神雷神図屏風」作品も3Dグラフィックで見比べて、学習するリファレンスも組み込んでいる。
hakuhodo-VRARの須田和博氏は、「VRではなくMRを採用したのは、屏風を直接見てほしいという狙いからであり、風神雷神図屏風を題材にしたのは、日本の国宝のなかで、多くの人が知っていること、風と雷が空間表現に適していること、そして、建仁寺と縁があったことが理由。
HoloLensならではの3D体験をしてもらうために、体験中は、その場に立ち止まるのではなく、なるべく動き回ったり、回り込んでまわったりして見てもらいたい。そうした特徴を持ったコンテンツに仕上げており、そこにHoloLensならではの特徴を発揮できる。時間や空間を超えて、知を体験として学ぶことができる」とした。
また、「博報堂は、TV CMの制作を手掛けている関係もあり、映像には慣れているが、四角い画面のなかに収まらないような立体的な映像制作が必要であり、はじめてのことも多かった。TVの世界でいえば、街頭TVで力道山が映る前の状況と同じようなもの。最初の一歩であり、ここからノウハウを蓄積していきたい。まずは、日本人向けに提供するが、将来的には外国人観光客にも使えるコンテンツにしていきたい」などと述べた。
物語の手法が持つ可能性で、教育や文化の体験を深め、想像できなかった作品世界を体験して学べる「ストーリーテリング」、今この場所にない情報を展示したり、実寸で参照したりすることで、美術館や博物館における鑑賞体験の進化や、研究方法の革新に導く「リファレンス」、ヒューマンキャプチャにより、ナビゲータが案内し、絵が伝える概念や作品に込められた願いや世界観を体験することで、想像力を掻き立て、もっと知りたくなるきっかけをつくる「イマジネーション」、自分や他の参加者とホログラムを相互作用させ、自らアクションを起こし、対話や行動を生み出すことで、発見や感動、知識の獲得を促進し、自然な操作で、インタラクティブな体験が共有できる「インタラクション」の4つの特徴を通じて、「映像コミュニケーションの次にある、21世紀の体験コミュニケーションに進化できる」(hakuhodo-VRARの須田氏)とした。
なお、デモ映像とメイキングムービーも、hakuhodo-VRARで公開する。
「風神雷神図屏風」は、江戸時代(17世紀)に、俵屋宗達によって描かれたもので、各154.5×169.8cmの紙本金地著色による2曲1双で構成される。また、風神雷神図屏風を所有する建仁寺は、臨済宗建仁寺派の大本山であり、京都最古の禅寺。開山は栄西禅師、開基は源頼家。鎌倉時代の建仁二年(1202年)の開創で、寺名は当時の年号から名づけられた。
建仁寺は「風神雷神図屏風」の所蔵者として、開発への協力と画像などの使用権利提供、研究成果を一般に公開するためのスペースの提供などを行なった。
臨済宗建仁寺派の川本博明総長は、「風神雷神図屏風は、工芸品の国宝の第1号である。MRによる最初の文化財のコンテンツに選んでいただいたことに感謝している。MRはこれからの技術という気がするが、進歩すればもっと面白いことができると期待している」と語った。
「MRミュージアム in 京都」の一般公開は、建仁寺では2018年2月22日～24日の午前10時から午後4時まで、京都国立博物館では、2月28日～3月2日の午前11時から午後5時まで(最終日のみ午後1時で終了)の予定だ。体験は無料だが、入場のために拝観料や観覧料がかかる。
一般公開は当日現地での受付となり、2台のHoloLensを使用し、1コマ15分間を2人ずつ体験できる。
「1日50人の体験が可能であり、会期中に300人が体験できる。一般公開を6日間の期間限定としたのは、研究開発段階であることに加えて、機器を用意する問題や予算の問題もある。今回は、まずはできあがったものを体験してもらい、フィードバックしてもらうこと、実施空間におけるオペレーション面で、なにがボトルネックになるかを知りたい。現時点では常設での公開は決めていない」(須田和博氏)とした。
一般公開に関する詳細はWebサイトを参照してほしい。
京都国立博物館の佐々木丞平館長は、「風神雷神図屏風は、本来ならば、お寺という日本の独特の空間のなかで見るのが最適である。だが、現在は、それを実現することが難しく、管理された最新のケースのなかで見る形になっている。
MRデバイスを利用することで、新たな鑑賞の仕方が実現できる。本来の文化財のあるべき場所とミックスされたリアリティがある体験ができれば、博物館鑑賞のあり方が随分変わるだろう。
2019年には、ICOM(世界博物館会議)が京都で開催され、140カ国から3,000人の博物館関係者が集まる。私自身、開催にあたり委員長を務めており、ここでもMRによる博物館鑑賞をお見せし、世界のみなさんに体験してもらいたい」と述べた。
また、日本マイクロソフトの平野拓也社長は、「日本マイクロソフトは、革新的で、安心して使っていただけるインテリジェントテクノロジーを通じて、日本の社会に貢献することがミッションであり、今回の取り組みはそれに合致する。
MRは、物理世界とデジタル世界を組み合わせることで、いままでにない価値を提供できるものである。HoloLensは、2017年1月から日本で出荷を開始し、世界で最も速いペースで販売されており、建設・不動産、製造業、医療、教育分野で活用されている。当初は、研究対象として発注していたケースが多かったが、日本のHoloLensのコミュニティでは、活発な情報交換が行なわれており、企業においてプロトタイプが作られている例もある。
今回の取り組みは、教育、文化鑑賞での協業になり、教育の仕方や、コミュニケーションのあり方も変わってくるだろう。この協業は、テクノロジーだけでなく、クリエイティビティの面でも注目される取り組みであり、今後も継続的に支援していきたい。日本にも早い段階でMicrosoft Mixed Reality Capture Studiosを作らなくてはいけないと考えている」とコメントした。
博報堂および博報堂プロダクツは、Microsoft Mixed Realityパートナープログラムの認定パートナーであり、hakuhodo-VRARは、両社が設置したラボ機能とも言えるものだ。
現在、MRによる新しい文化体験を提供するプロジェクト「FUTURE of LEARNING」を推進している。2017年7月から、同プロジェクトの1つとして、建仁寺とともに共同研究を実施。同社では、新たな文化財体験の技術を、生活者の文化体験を豊かにする意義ある活動と位置づけ、MRを活用したアクティブラーニングとし、関連する観光、教育、文化産業分野の多様なパートナーと連携し、MRによる新たな体験コミュニケーションを創出。この経験をもとに、ショールームや展示会、プレゼンテーションなどの企業コミュニケーションの領域にも応用し、「スペース・エクスペリエンス事業」としてビジネス展開するという。
日本マイクロソフト 執行役員常務 パートナー事業本部長の高橋美波氏は、「教育の価値を高めることを目指して開発したものであり、実際の風神雷神図屏風に、3Dの情報を付加することで、新たな教育体験を提供できる。子供向けの教育というよりも、より広い年齢層に利用してもらえるものである。
日本マイクロソフトと、hakuhodo-VRARでは、2016年からMixed RealityおよびAIに関するプロトタイピングを開始し、Mixed Realityについては、パートナープログラムもスタート。共同研究を進めてきた。2018年～2019年にかけては、パイロット施策を積み重ね、市場認知を獲得。2020年には多角的なビジネスへと発展させ、IT×広告ビジネスのリーダー企業を目指している」と、hakuhodo-VRARとの協業について説明。
hakuhodo-VRARの須田和博氏は、「博報堂では、マイクロソフトのAIを活用したFace Targeting ADに取り組んでおり、撮影した表情が疲れていると判断したら栄養ドリンクを表示したり、お勧めの眼鏡を表示したりといったように、本人の顔をベースにして、楽しく見たくなる広告を表示できる取り組みを行なっている。
一方で、Mixed Realityを活用した今回の取り組みは、娯楽というよりも、文化財に対する見方を変えていくものになる。HoloLensは、13歳以下は使用できないため、博物館を訪れる文化財ファン、考古学ファンに対して、テキストではない、新たな体験学習をしてもらうことになる。文化財に関心を持ってもらうきっかけにつなげたい。HoloLensを活用することで、技術をどう使ったら生活者に喜んでもらえるかを、広告企業として考えた」などと述べた。
