ニュース

ソニーモバイル、超高感度撮影や4K HDR動画撮影などXperia XZ2 Premiumのカメラ機能を解説

NTTドコモとauから2018年夏に発売が予定されている「Xperia XZ2 Premium」

 ソニーモバイルは、7月13日に報道陣向けの説明会を開催し、最新フラッグシップスマートフォン「Xperia XZ2 Premium」に搭載されるダブルレンズカメラの特徴的な機能について解説した。

モノクロセンサーとカラーセンサーを組み合わせて超高感度撮影を実現

 Xperia XZ2 Premiumは、日本ではNTTドコモから「Xperia XZ2 Premium SO-04K」、auから「Xperia XZ2 Premium SOV38」として2018年夏に発売予定となっている。従来モデルとなるXperia XZ Premium同様に4K表示対応ディスプレイを搭載するだけでなく、Xperiaシリーズ初となるダブルレンズカメラを搭載し、ISO 12800の超高感度動画撮影や、ISO 51200の超高感度静止画撮影が可能な点や、4K HDR動画撮影が可能な点など、充実したカメラ機能も大きな特徴となっている。そのダブルレンズカメラを利用したカメラ機能の開発が完了したことを受けて、報道陣に技術解説を行なった。

NTTドコモ版の「Xperia XZ2 Premium SO-04K」
こちらはau版の「Xperia XZ2 Premium SOV38」
背面にXperiaシリーズ初のダブルレンズカメラを搭載している

 まずはじめに、Xperia XZ2 Premiumに搭載されるダブルレンズカメラの仕様をおさらいしておこう。メインカメラとなるダブルレンズカメラは、本体背面に搭載される。上下にレンズが並んでいる。上が有効画素数約1,200万画素の1/2.3型モノクロセンサーを採用したカメラ、下が有効画素数約1,920万画素の1/2.3型カラーセンサーを採用したカメラとなっている。

 モノクロセンサー、カラーセンサーともに裏面照射型CMOSイメージセンサー「Exmore RS for Mobile」で、カラーセンサー側のみメモリ積層タイプとなっている。レンズの焦点距離はいずれも25mm(35mm換算)で、F値はモノクロ側がF1.6、カラー側がF1.8となる。

Xperia XZ2 Premiumに搭載されるダブルレンズカメラモジュール
Xperia XZ2 Premiumのダブルレンズカメラの仕様。上が約1200万画素のモノクロセンサー、下が約1920万画素のカラーセンサーで、双方の情報を合成して高感度撮影を実現。画像処理専用プロセッサ「AUBE」も搭載する

 説明会ではまず、なぜこのダブルレンズカメラで高感度撮影を実現したのかという点について説明した。

 ソニーが調べたところによると、スマートフォンを利用して写真を撮影する場合、その50%ほどが暗所で撮影されたもので、しかも、そのうちの5%は通常では何も撮影できないほどの極暗所だったという。このように、暗所での撮影ニーズが潜在的に存在していることを受けて、Xperia XZ2 Premiumでは暗所撮影性能を追求したカメラを実現したと説明した。

 ただ、スマートフォンのようにスペースが限られる機器では、通常のデジタルカメラのように大型のイメージセンサーを採用することで高感度撮影を実現するのが難しい。そこでXperia XZ2 Premiumのダブルレンズカメラでは、モノクロセンサーで輝度情報を取得、カラーセンサーで色情報を取得し、双方の情報を合成することによって高感度撮影を実現している。

 さらに、画像処理を行なう専用プロセッサ「AUBE」も独自開発し、搭載している。ソニーには、半導体などを開発するデバイス部門やソフトウェアの技術開発を行なうR&D部門、カメラ開発部門などがあり、それぞれが協力して先進的なデュアルレンズカメラシステムを開発できる点が大きな強みだと胸を張った。

ソニーの調査によると、スマートフォンでの写真撮影環境は、50%ほどが暗所で、そのうちの5%は通常では何も撮影できないほどの極暗所だったという
スマートフォンではセンサーサイズの大型による高感度撮影の実現は難しく、モノクロセンサーとカラーセンサーの組み合わせで高感度撮影を実現
モノクロセンサーで輝度情報、カラーセンサーで色情報を取得し、超高感度撮影を実現する
ソニーの半導体やソフトウェア、カメラの開発部門が協力してダブルレンズカメラシステムを開発

すべての個体でダブルレンズカメラの光軸ズレを計測し記録

 ダブルレンズカメラでは、2つのイメージセンサーで捉えた情報を合成して写真を撮影するが、2つのイメージセンサーは設置位置が離れているため、双方が捉える画像は微妙にズレが生じる。人間の目でも、両目で見るときと、右と左の片目で見るときとで、物体が微妙にずれて見えるが、それと同じだ。そのため、双方のセンサーで捉えた情報を合成する場合には、そのズレを考慮しなければうまくいかない。

 そこで、Xperia XZ2 Premiumのダブルレンズカメラでは、個体ごとにダブルレンズカメラの光軸ズレを計測して光軸ズレの情報を内部に記録し、その情報を利用して正確な光軸ズレ補正を行ない写真を合成する仕組みになっている。

 さらに、被写体までの距離によって生じる画像上のズレを画像処理によって検出し、ピクセルごとにズレを補正。その後、ピクセルごとにモノクロセンサーの輝度情報とカラーセンサーの色情報を合成することによって、最終的な写真ができあがる。

 ただし、ダブルレンズを利用した撮影時には、被写体までの距離が近ければ近いほど画像上のズレが大きくなってしまい、補正が厳しくなる。そのため、被写体まで1m以上離れて撮影することを推奨しているという。

ダブルレンズカメラは離れた位置に設置されるため、光軸ズレが発生。そこで、個体ごとに光軸ズレを計測し調整値を記録しているという
モノクロセンサーとカラーセンサーで得た情報を、画像処理プロセッサ「AUBE」で処理する
個体ごとに記録されている光軸ズレ調整値を利用してズレを補正
次に、画像解析で被写体までの距離に寄って発生する画像上の局所的なズレを補正
2つのセンサーから得られた画像の情報をピクセルごとに解析してズレを補正する
最後に輝度情報と色情報を合成し高感度写真が出来上がる
被写体までの距離が近くなるほどズレが大きくなるため、1m以上離れた被写体の撮影を推奨している

 この一連の画像処理は、すべて専用プロセッサ「AUBE」で行なわれる。同様の処理を行なうだけであれば、SoCに搭載されるGPUでもできるが、Xperia XZ2 Premiumのダブルレンズカメラであえて専用プロセッサを用意したのは、高速な処理を行なわせるためだという。

 SoCのGPUで同様の処理を行なう場合には、処理が完了するまでに100ms以上の時間がかかってしまうという。しかしそれでは、30fpsの動画撮影で利用できない。そこで、光軸ズレ補正などの処理を高速に行なえる専用プロセッサのAUBEを用意搭載することで、60fpsでの撮影でも間に合う高速な処理が行なえるようになり、フルHD/60fpsでISO 12800の超高感度動画撮影を可能にしているという。

 説明会では、暗所での撮影例が紹介されたが、従来モデルと比べてノイズが少なく、また細部までクッキリとした写真や動画が撮影できていることが確認できた。

 なお、Xperia XZ2 Premiumのカメラ機能では、ボケ調整機能やモノクロ撮影機能も用意されることになっているが、そちらは8月下旬のアップデートで対応する予定とのことだ。

画像処理プロセッサ「AUBE」
画像処理をSoC内蔵のGPUで行なうと100ms以上の時間がかかり、動画撮影時の1フレーム内の時間で処理がおわらないため、高速で処理を行なえるAUBEを用意した
ダブルレンズカメラとAUBEによって、従来よりも高感度な撮影が可能となっただけでなく、同条件でもより低ノイズで撮影できるようになった
実際の撮影例。Xperia XZ1と比べると高感度撮影時の撮影品質が大きく向上していることがわかる
極暗所での超高感度動画撮影比較。他社のデュアルレンズカメラ搭載スマートフォンと比べ、明るくクッキリ撮影でいていることがわかる
ボケ調整機能やモノクロ撮影機能は8月下旬のアップデートで対応予定

メモリ積層型イメージセンサーの採用によって4K HDR動画撮影を実現

 続いて、4K HDR動画撮影機能について説明された。従来モデルのXperia XZ PremiumではHDR表示対応の4Kディスプレイを搭載するとともに、SoCもHDR映像のデコードに対応。もちろんXperia XZ2 Premiumのディスプレイも4K表示対応でHDR表示にも対応している。

 そのうえで、ダブルレンズカメラのカラーセンサーにはメモリー積層型イメージセンサーを新たに採用することで、従来よりも高速な画像信号の読み出しが可能となり、1フレーム内で長時間露光と短時間露光の情報を合成した4K HDR動画の撮影に対応。これによりXperia XZ2 Premiumでは、単体で4K HDR動画の撮影から再生までをこなせるようになっている(Xperia XZ2でも同様の4K HDR動画撮影が可能)。

 しかも、撮影できる4K HDR動画は、色情報の階調が10bit、色域がBT.2020に対応。HDRによる優れたダイナミックレンジだけでなく、色表現も大きく進化しているとのことだ。なお、撮影できる4K HDR動画のフォーマットは、HEVC/10bit/HLG/BT.2020となる。

Xperia XZ2 Premiumは世界初の4K HDR動画撮影に対応し、撮影から再生まで行なえる
メモリ積層型イメージセンサーを採用することで、高速な読み出しが可能となり、4K HDR撮影が可能となった
色情報の階調は10bit、色域はBT.2020に対応。撮影できる4K HDR動画のフォーマットは、HEVC/10bit/HLG/BT.2020となる
短時間露光と長時間露光の画像を組み合わせてハイダイナミックレンジの映像を実現
メモリ積層型イメージセンサーの採用によって、1フレーム内で短時間露光と長時間露光の画像処理が可能となり、HDR動画の撮影に対応した

 HDR動画の撮影に適したシーンとしては、日向と日陰が混在する場所やスポットライトが当たる被写体、イルミネーション、ステンドグラスなど。説明会では、光源に囲まれた中でドラムを叩くミュージシャンの映像が示されたが、Xperia XZ2 Premiumでは照明から中のミュージシャンまで、鮮やかな色調で撮影できていることを確認できた。

 また、YouTubeとの協業によって、Xperia XZ2 Premiumで撮影したHEVC形式の4K HDR動画をそのままYouTubeにアップロードした場合でも、YouTubeサーバー側でVP9形式の4K HDR動画形式に自動的に変換されるという。ただ、アップロードした4K HDR動画は、サムネイルからはHDRの表示が確認できないため、画像選択後のプロファイルメニューからHDRとなっているか確認してほしいとのことだった。

日向と日陰が混在する場所やスポットライトが当たる被写体、イルミネーション、ステンドグラスなどが撮影に適したシーン
左がXperia XZ2 Premiumで撮影した動画。光源や中の人物が白飛びすることなく、クッキリ撮影できている
撮影した4K HDR動画をYouTubeに直接アップロードするだけで、YouTubeサーバー上でVP9フォーマットの4K HDRデータへと変換される