2月14日にSHIBYA-AXでロッテ・ガーナミルクチョコレート提供、ソニーミュージックエンターテイメント主宰によ無料ライブイベント「Winternet'10 バレンタイン・スペシャルライブ」が行なわれた。その様子は芸能各誌、Webサイトなどで紹介されているので本誌では詳しくは述べないが、Sony Music Entertainment主体となっているこのイベントを、ソニー本社が3D映像で生中継。銀座ソニービル最上階にあるショウルームOpusに80人のファンを招待した。

パックンマックン司会で行なわれた3Dライブの様子。3D映像の仕組み解説なども簡単に行なわれた

　ソニーの発表によるとソニー製のフルHD対応業務用カメラをベースにした3Dカメラを用い、その場で2本のH.264/AVCにエンコード。NTT東日本の持つATM回線を用いて渋谷から銀座に伝送。それをデコードしてソニー製の劇場向け4K2Kプロジェクタを用いて3D投影するという仕組み。日本初の3Dライブ中継イベントと発表されている。

　ここでは、このイベントを起点に、各種テクノロジの観点から3Dライブ放送について紹介してみよう。なお、今回の記事はPC Watchの読者向けということで、少々、テクニカルな方向に振っているが、特にPCとの関連を意識はしていない。

　まずは撮影に関して。現在の所、3D専用カメラというものは製品化されていないので、通常の2Dカメラを改造してカメラを制作。3D撮影パラメータに連動して2つのカメラの向きやレンズ間隔を調整する治具に、2台のカメラを装着して撮影する。

　と書くだけなら簡単だが、実際にはかなり複雑なシステムだ。3Dカメラというとレンズを横に2つ並べた「Wall-E」の頭のような形を想像するだろうが、実際には2Dカメラの上から真下に向けたカメラを追加したような配置のものが主流だ。

　これは大口径レンズを横に並べてしまうと、人間の目の平均的間隔である65mmを超えてしまい、パララックス(視差)が大きくなりすぎるためだ。専用に小口径のレンズを用い、プリズムで光軸をずらしてレンズ間の距離を小さくしたカメラもあるが、3D撮影の自由度は制限されてしまう。

　また、被写体が近い場合にパララックスが大きくなりすぎないよう、65mmよりも狭くしなければならないケースもある。そこで、90度レンズ方向をずらして縦方向に2台のカメラを並べる3Dカメラ治具で、ハーフミラーで像を2つに分離し、異なるカメラで撮影する仕組みを採用するシステムが現在の主流となってきた。

光軸をずらして65mm幅にした3Dカメラも2台使われた	ソニーPCLのハーフミラーを用いた3Dカメラ。SHIBUYA-AXでの撮影の様子	2台のカメラが90度の角度で向き合っているのがわかる

　これならばレンズの光軸間を最小ゼロから自由に設定することが可能だ。欠点としてはハーフミラーで光を2分割するため、明るさが半分になってしまうことがあるが、近年のカメラは実効感度が向上して低照度時のS/Nが改善しているので、トータルではハーフミラーを用いることの利点が上回る。

　こうした3D撮影用治具の開発は、その制御(3Dカメラとは、切り口を変えて見ると3D撮影に特化したロボットのようなものだ)ノウハウと込みで、3D撮影専門のプロダクションスタジオが行なってきた。3D撮影の技術が数年前から注目され始めていたハリウッドでは、3社ほどの3Dに特化したプロダクション会社がある(日本ではNHKメディアテクノロジが3D撮影で知られており、昨年からはソニーPCLが3D撮影サービスを始めた)。

　中でも特に広く実力を知られているのが、ジェームズ・キャメロン監督の要望に応じて3Dカメラを共同開発し、映画「アバター」の撮影でも使われたPace 3D(約1年前にAV Watchでレポート)のシステムと、U2 3Dの撮影サポートやFox Sportsが行なったNFLのライブ中継イベントサポートなどで知られる3alityのシステムだ。

　光軸間の距離や光軸の向き(2つの光軸が交差する距離)を、どのようなコントローラで操作するのか。3D映像として見た時、どのように見えるのか(手前に出っ張るのか、あるいは奥に展開するのか)などを、どうやってカメラマンや、そのアシスタントに伝えるのか。

　3D撮影用治具のパラメータ調整は、被写体への距離やズーム画角によっても変化する。これらがうまく連動しないと、見た目にとても不自然な3D映像となってしまい、頭が混乱して気持ち悪くなる(いわゆる3D酔い)。

　これ以上に話を突っ込んでいくと、とても複雑な事になるのだが、2つのカメラ(レンズ)をどのように制御し、3D映像として快適なものに仕上げるか。治具の構造や制御ソフトに、3D撮影のノウハウの多くが宿るといってもいいだろう。

　今回のシステムでは、上記のようなハリウッドの3D撮影スタジオが持つものではなく、ソニーPCL製の3Dカメラ治具を用いたカメラを3セット、左右にレンズを並べた両眼式3Dカメラ治具(こちらは他社製とのこと)を2セット用いているという。もしかするとソニーPCL製の3Dカメラ治具は、まだ3セットしか存在しないのかもしれない。

　なお、治具に取り付けるHDカメラには、ソニー製HDC-950を使っていたそうだ。

これは3alityの3Dカメラ治具。ハーフミラーを用いている点はPace 3Dと同じ	3ality製カメラによる撮影の様子	こちらはPace 3Dの3Dカメラ治具。ここに2台のカメラを装着する。複雑なロボットのように精密な動きをする
Pace 3Dのカメラ治具を横から見たところ	パララックスなどを含めカメラの各種コントロールを2台連動させるためのコントローラ(Pace 3Dのもの)	3alityのシステムで使われているモニタ。奥行き情報や視差情報を効率的に判別する工夫がされている

　ところで、3Dでライブ中継を行なう上で、3DカメラシステムにはズームやAFに応じてパララックスを連動させるシステムが重要になってくる。ライブでは後編集する事ができないからだ。ところが、パララックスを最適化する制御を行なえる3D撮影システムは、今のところ3alityしか提供していないそうだ。

　ソニーPCL製の治具を筆者は見たことがないのだが、AV Watchの記事や写真を見る限り、構造、制御手法などは3alityのものと非常によく似ているようだ。もともと、3alityとソニー(SPE)は非常に密接にノウハウの共有を行なっており、両者は共同で3D撮影のノウハウを蓄積している。

　例えば3Dアニメの制作で8割近いシェアを持っているSony Imageworks(SPE傘下の映像制作会社)で3D映像制作を行ない、今や3D映像制作のマイスターとして業界で知られるようになったバズ・ヘイズ氏によると、3Dアニメ制作ツールで仮想的に行なうレンズ間隔やパララックスの調整ノウハウを、3alityのスタッフと共有しながら治具の開発に協力してきたそうだ。もちろん、その逆にヘイズ氏がノウハウをもらうこともあったという。

　ヘイズ氏は現在、ソニーの3D映像技術全般にアドバイスを与える立場になっているので、ソニーPCL製の治具が3alityのものとよく似ていて、しかも完成度が高いのも当然と言えるかもしれない。アニメ制作ではパラメータを変えながら、何度でも制作をし直すことができるので、試行錯誤で3D映像制作のためのノウハウを溜めやすい。3D映像制作の分野でのソニーの強みは、3Dアニメ制作で多くの経験を積んだスタッフがいる点にある。

　さて、話を戻そう。

　3D撮影に失敗はつきもので、思ったよりも視差が大きくて負担が大きかったり、奥に展開するはずが、思ったより手前に出っ張ってしまった。なんてことがある。また、シーンを切り替える際には、シーン間の被写体の深度(見た目の距離)を合わせておかないと、切り替わった時にどこを見ていいのか解らなくなる、などの混乱しやすい。

　このため、3Dの実写映画やビデオの制作では、3Dレタッチのツールを用いて映像を変型し、具合の悪い3D映像をコンバートして調整を行なう。多くの3D撮影システムでは、このポスト処理(後処理)を前提に大まかに調整しながら3Dカメラを使っている。

　しかし、それではライブ中継で良いクオリティを出せない。パラメータが“とんでもない設定”になっていると、後から調整しようにも調整しきれないし、そもそもライブでは修整プロセスを入れる時間的余裕がないからだ。

　このため、例えばPace 3Dの場合は3D撮影のエキスパートが中継車で3D映像をモニタし、中継車の中から3Dコントローラを用いて調整を行なう。ただし、これは職人芸の世界なので、今後、3D撮影が一般化していく中では大きな問題になってくる。

　一方、3alityのシステムはズームと自動連動する仕組みがあり、映像の出っ張り方(奥への展開の仕方)をモニタして警告を出したり、あるいはセーフティゾーンから出ないようにある程度は自動で治具を動かすといった、後編集による修整をなるべく減らすための制御ソフトウェアが組み込まれており、それが同社の“売り”となっている。同様の自動制御はパナソニックが今年(2010年)10月に製品化する業務用の3Dハンディビデオカメラでも実現するようだが、実際の所、はたから見ているほど簡単ではないのが3D撮影なのである。

　ただし、ソニーによると今回撮影に使用したシステムには、3alityのシステムと同様の自動制御プログラムは入っていないそうだ。あらかじめズームを動かす範囲、フォーカス位置の範囲を決めておき、その範囲内でパララックスが問題ない範囲に収まるよう、あらかじめ計画して撮影。パララックスは変化させずに固定したまま撮影したそうだ。

　ライブ放送では想定外の事態はつきものだから、例えば今回のイベントでは80人も撮影スタッフがいた(もっともスタッフを現場で鍛える意味もあるだろうから、本当に80人全員が必要だったわけではないだろうが)というから、大変なものだ。

　もっとも、難しいからこそ、メーカー側が価値を提供できる問題も存在する。今回のようなイベントを重ねることで、パララックス制御プログラムの開発、その自動化といった具合にステップを踏んで開発を続ければ、それはノウハウとなって企業の強みになる。

　3D映像ビジネスは、まさに今年から本格スタートしようというのだから、今後は上記のような問題を解決することで付加価値(他社との差異化)を提供できるようになるだろう。破綻が起きやすい3Dの生中継を経験することで問題を把握し、それが製品にフィードバックされる。

　3Dの生中継がやりにくい、ということは、すなわち家庭向けにフルオートで3Dカムコーダを提供する事が極めて難しいことを示しているが、こうしたイベントを繰り返してこなし、経験を積んでノウハウを蓄積していくことで、いつかは家庭用3Dカムコーダも実用化できるだろう。

　一方、3D映像を伝送する仕組みは、もっと簡単だ。新技術には変わりないが、すでに規格として決まっている技術が基礎になっているからだ。冒頭でも述べたように、映像はH.264/AVCで左右映像をエンコードし、NTT東日本のATM回線で渋谷から銀座に送られた。

　使用されたATM回線の帯域は30Mbpsで、そのうち2Mbpsが5.1チャンネル音声に割り当てられていたため、映像に使えるのは28Mbps。左右映像を同時に送るため、1本あたりは14MbpsのCBRエンコードだったことになる。

　ちょうど同じぐらいのビットレートで伝送されている事例がないので比較しづらいが、見たところ地デジよりはかなりブロック歪みは少なく、しかしBSデジタル放送よりは落ちる印象だった。フルHDによる3D映像とのことだが解像感もやや甘い。

　と贅沢を言えばキリがないのだが、大まかに言って200型の大型スクリーンへの投影にも充分耐えるものだった。実は途中、一度だけ片チャンネル(右目側)の伝送が止まってしまい3Dにならないトラブルが演奏の合間にあったのだが、それ以外はほぼ問題ないレベルでの伝送ができていた。

　実はH.264にはH.264MVCという規格もある。MVCとはMulti View CODECのことで、複数のビューを1つのストリームに収めるというもの。3D Blu-ray Discでも用いられており、左右映像のストリームを1本のMPEGストリームにエンコードできる。

　単に複数映像を1本のストリームにまとめるだけならば、映像レートに2倍の帯域が必要となるが、そこには工夫が加えられている。プライマリとなる映像(左右のどちらか)は通常のエンコードが行なわれるが、セカンダリとなる映像はプライマリとの差分情報しか記録されない。

　MPEG規格で言うところのIピクチャがセカンダリには記録されないのだ。MPEG圧縮ではIピクチャに最も多くの情報が必要になるので、自然画などの複雑な映像で1.5～1.7倍、アニメのようなクリアでシンプルな絵柄では1.3～1.5倍程度のビットレートがあれば、画質を犠牲にせずに3D化できる。

　しかもMVCは、もともとMPEG規格に沿った構造になっているので、既存の2D専用デコーダに通せばプライマリ映像のみが正常に再生される。下方互換性を保証できる上に画質も良いという、実に都合の良い方式だ(故に3D BDソフトは既存BDプレーヤーでも2D再生できる)。

　もし、今回の3DライブでMVCを使っていれば、2D映像換算で18～19MbpsのH.264 CBRエンコードぐらいの画質……といっても、ピンとこないだろうが、おおむねBSデジタル相当かそれ以上の画質は得られただろう。

　あるいは、12MbpsのH.264/AVC相当の画質であれば、その1.5倍……すなわち18Mbpsの映像レートに音声やデータの転送帯域も含め20Mbpsぐらいの帯域があれば、電波を用いた3D フルHD放送が可能ということになる。

　H.264MVCは2Dしか対応していないデコーダで再生すると、マスター側の映像だけが表示されるため、既存レシーバとの互換性も取りやすいというメリットも活かせる。

　このように夢は広がるが、現在は標準規格として3D放送フォーマットが定義されていない。このため、3D放送のほとんどは画面を左右に分割して2つの映像を送り、TV側でそれをステレオ化するサイドバイサイドという方法で送信される予定だ。しかし、サイドバイサイドは水平方向の解像度が半分になる上、2D TVとの互換性がない。

　3D放送は衛星放送やケーブルTVから始まっているが、その理由は2D放送とは別に3D専用チャンネルを作らなければならない(3D放送を通常のテレビで見ると左右に分割された2つの映像が映る)からだ。このため、多チャンネル化が容易な放送メディアから3D対応が始まっているのである。

　放送における3D映像の伝送を話し合う委員会がSMPTEなどでも設置されてはいるが、すぐにフォーマット策定という段階にはないようだ。当面はサイドバイサイドでの2D/3D同時放送が行なわれることになるだろう。あるいは、これがデファクトスタンダードとして長く使われることになるかも知れない。

　話はまたもや枝葉に分かれたが、今回のシステムは電波による放送は意識されていなかったが、将来の放送につながるだろうやや抑えめのビットレートで実施された点は興味深いものだった。

　さて、実際の3Dライブ会場の様子について最後に触れておきたい。

　銀座ソニービル8FにあるOpusに設置されている3Dプロジェクタは、ソニー製の4Kプロジェクタに3D投影モジュールを追加したもので映し出していた。ソニーは北米でAMC、リーガルといった大手を含む映画館チェーンに同様のシステムを納入している。システム価格になると2,000万円は下らない劇場向けデジタルプロジェクタは、実はソニーがなかなか参入できなかった分野だったが、3D化によって急速に業績を伸ばしている。

　その理由が4K2K、すなわち4,096×2,048ドットの解像度を活かした3D投影システムだ。映像を左右2分割し、それぞれに左右の映像を表示。アナモフィックレンズで左右に引き延ばした上で重ねて投写する(投写直前には偏光フィルタを通して左右の映像に異なる偏光を与えておく)。

　映画館にしてみれば、デジタル化の際に4K化と3D対応の両方を一度に行なえる利点がある。またソニーの方式はDLP映写機のように時分割で表示しないため、完全にフリッカーを排除できるという利点もある。

　ソニーによると、以前からOpusに導入されていた3D投影システムは、最終のフィルタを直線偏光にしてあった(これはIMAX 3Dと同様のものだが、頭を傾けると左右の映像が混ざるクロストークが発生する問題がある)そうだが、今回の3Dライブを実施するにあたって円偏光(Real Dのシステムと同様のもので、頭を傾けてもクロストークが発生しない利点がある)へと切り替えたそうだ。

　投影システムは、このように業務用と同じ、いや劇場向けとしてもトップクラスの品位を持つものが投入されていたので、3D映像の質は充分に高いものだった。しかし、何より驚いたのは、ライブ中継ということで心配された3D映像の質だ。

　前述したように3D撮影は非常に繊細なもので、実写3D映画では撮影後に細かな見え方を後から修整し、見やすくするのが当たり前になっている。その中で生での視聴、しかも本格的な3Dライブ中継は初めてだったにもかかわらず、不自然で不快な3D映像にならなかったことは褒められるべきことだろう。

　あえて難を言うならば、あまりに保守的な撮影(引き気味の映像で奥に展開する映像が多く、例えばU2 3Dでボノがカメラに手を出して迫ってきた時のような演出は無かった)過ぎて、3D撮影のことをよく知らない人には“凄さ”が伝わりにくかったのではないか? と思った事ぐらいだろうか。

SHIBUYA-AXでの撮影の様子	会場で配布された3Dメガネ。つい最近まで直線偏光だったようだが、この日のために円偏光型に切り替えたそうだ

　せっかくの3D生中継の機会。アーティストや舞台演出の担当者と相談しながら、もっと3D撮影を活かした演出があっても良かったと思う。とはいえ、これはあくまでも結果論だ。初めての3Dライブとしては大成功だったというのが、偽らざる感想である。