ニュース
ソニーモバイル、超高感度撮影や4K HDR動画撮影などXperia XZ2 Premiumのカメラ機能を解説
2018年7月16日 13:08
ソニーモバイルは、7月13日に報道陣向けの説明会を開催し、最新フラッグシップスマートフォン「Xperia XZ2 Premium」に搭載されるダブルレンズカメラの特徴的な機能について解説した。
モノクロセンサーとカラーセンサーを組み合わせて超高感度撮影を実現
Xperia XZ2 Premiumは、日本ではNTTドコモから「Xperia XZ2 Premium SO-04K」、auから「Xperia XZ2 Premium SOV38」として2018年夏に発売予定となっている。従来モデルとなるXperia XZ Premium同様に4K表示対応ディスプレイを搭載するだけでなく、Xperiaシリーズ初となるダブルレンズカメラを搭載し、ISO 12800の超高感度動画撮影や、ISO 51200の超高感度静止画撮影が可能な点や、4K HDR動画撮影が可能な点など、充実したカメラ機能も大きな特徴となっている。そのダブルレンズカメラを利用したカメラ機能の開発が完了したことを受けて、報道陣に技術解説を行なった。
まずはじめに、Xperia XZ2 Premiumに搭載されるダブルレンズカメラの仕様をおさらいしておこう。メインカメラとなるダブルレンズカメラは、本体背面に搭載される。上下にレンズが並んでいる。上が有効画素数約1,200万画素の1/2.3型モノクロセンサーを採用したカメラ、下が有効画素数約1,920万画素の1/2.3型カラーセンサーを採用したカメラとなっている。
モノクロセンサー、カラーセンサーともに裏面照射型CMOSイメージセンサー「Exmore RS for Mobile」で、カラーセンサー側のみメモリ積層タイプとなっている。レンズの焦点距離はいずれも25mm(35mm換算)で、F値はモノクロ側がF1.6、カラー側がF1.8となる。
説明会ではまず、なぜこのダブルレンズカメラで高感度撮影を実現したのかという点について説明した。
ソニーが調べたところによると、スマートフォンを利用して写真を撮影する場合、その50%ほどが暗所で撮影されたもので、しかも、そのうちの5%は通常では何も撮影できないほどの極暗所だったという。このように、暗所での撮影ニーズが潜在的に存在していることを受けて、Xperia XZ2 Premiumでは暗所撮影性能を追求したカメラを実現したと説明した。
ただ、スマートフォンのようにスペースが限られる機器では、通常のデジタルカメラのように大型のイメージセンサーを採用することで高感度撮影を実現するのが難しい。そこでXperia XZ2 Premiumのダブルレンズカメラでは、モノクロセンサーで輝度情報を取得、カラーセンサーで色情報を取得し、双方の情報を合成することによって高感度撮影を実現している。
さらに、画像処理を行なう専用プロセッサ「AUBE」も独自開発し、搭載している。ソニーには、半導体などを開発するデバイス部門やソフトウェアの技術開発を行なうR&D部門、カメラ開発部門などがあり、それぞれが協力して先進的なデュアルレンズカメラシステムを開発できる点が大きな強みだと胸を張った。
すべての個体でダブルレンズカメラの光軸ズレを計測し記録
ダブルレンズカメラでは、2つのイメージセンサーで捉えた情報を合成して写真を撮影するが、2つのイメージセンサーは設置位置が離れているため、双方が捉える画像は微妙にズレが生じる。人間の目でも、両目で見るときと、右と左の片目で見るときとで、物体が微妙にずれて見えるが、それと同じだ。そのため、双方のセンサーで捉えた情報を合成する場合には、そのズレを考慮しなければうまくいかない。
そこで、Xperia XZ2 Premiumのダブルレンズカメラでは、個体ごとにダブルレンズカメラの光軸ズレを計測して光軸ズレの情報を内部に記録し、その情報を利用して正確な光軸ズレ補正を行ない写真を合成する仕組みになっている。
さらに、被写体までの距離によって生じる画像上のズレを画像処理によって検出し、ピクセルごとにズレを補正。その後、ピクセルごとにモノクロセンサーの輝度情報とカラーセンサーの色情報を合成することによって、最終的な写真ができあがる。
ただし、ダブルレンズを利用した撮影時には、被写体までの距離が近ければ近いほど画像上のズレが大きくなってしまい、補正が厳しくなる。そのため、被写体まで1m以上離れて撮影することを推奨しているという。
この一連の画像処理は、すべて専用プロセッサ「AUBE」で行なわれる。同様の処理を行なうだけであれば、SoCに搭載されるGPUでもできるが、Xperia XZ2 Premiumのダブルレンズカメラであえて専用プロセッサを用意したのは、高速な処理を行なわせるためだという。
SoCのGPUで同様の処理を行なう場合には、処理が完了するまでに100ms以上の時間がかかってしまうという。しかしそれでは、30fpsの動画撮影で利用できない。そこで、光軸ズレ補正などの処理を高速に行なえる専用プロセッサのAUBEを用意搭載することで、60fpsでの撮影でも間に合う高速な処理が行なえるようになり、フルHD/60fpsでISO 12800の超高感度動画撮影を可能にしているという。
説明会では、暗所での撮影例が紹介されたが、従来モデルと比べてノイズが少なく、また細部までクッキリとした写真や動画が撮影できていることが確認できた。
なお、Xperia XZ2 Premiumのカメラ機能では、ボケ調整機能やモノクロ撮影機能も用意されることになっているが、そちらは8月下旬のアップデートで対応する予定とのことだ。
メモリ積層型イメージセンサーの採用によって4K HDR動画撮影を実現
続いて、4K HDR動画撮影機能について説明された。従来モデルのXperia XZ PremiumではHDR表示対応の4Kディスプレイを搭載するとともに、SoCもHDR映像のデコードに対応。もちろんXperia XZ2 Premiumのディスプレイも4K表示対応でHDR表示にも対応している。
そのうえで、ダブルレンズカメラのカラーセンサーにはメモリー積層型イメージセンサーを新たに採用することで、従来よりも高速な画像信号の読み出しが可能となり、1フレーム内で長時間露光と短時間露光の情報を合成した4K HDR動画の撮影に対応。これによりXperia XZ2 Premiumでは、単体で4K HDR動画の撮影から再生までをこなせるようになっている(Xperia XZ2でも同様の4K HDR動画撮影が可能)。
しかも、撮影できる4K HDR動画は、色情報の階調が10bit、色域がBT.2020に対応。HDRによる優れたダイナミックレンジだけでなく、色表現も大きく進化しているとのことだ。なお、撮影できる4K HDR動画のフォーマットは、HEVC/10bit/HLG/BT.2020となる。
HDR動画の撮影に適したシーンとしては、日向と日陰が混在する場所やスポットライトが当たる被写体、イルミネーション、ステンドグラスなど。説明会では、光源に囲まれた中でドラムを叩くミュージシャンの映像が示されたが、Xperia XZ2 Premiumでは照明から中のミュージシャンまで、鮮やかな色調で撮影できていることを確認できた。
また、YouTubeとの協業によって、Xperia XZ2 Premiumで撮影したHEVC形式の4K HDR動画をそのままYouTubeにアップロードした場合でも、YouTubeサーバー側でVP9形式の4K HDR動画形式に自動的に変換されるという。ただ、アップロードした4K HDR動画は、サムネイルからはHDRの表示が確認できないため、画像選択後のプロファイルメニューからHDRとなっているか確認してほしいとのことだった。
