スマホでの動画撮影とAI推論性能を大幅に引き上げるSnapdragon 888

Snapdragon 888ではStaggered HDRイメージセンサーに対応しており、10bit HDRな4K動画などが撮影可能に(出典:Qualcomm)

　Qualcommのプレミアムティア(ハイエンド)向け次世代スマートフォン用SoCとなるSnapdragon 888が発表された。その概要に関しては別記事「5nmで製造される『Snapdragon 888』の詳細」で紹介してあるが、本記事ではそれらの発表から見えてきたSnapdragon 888の特徴について解説していきたい。

　現在のスマートフォンの最大の競争領域であるカメラ周りの機能を強化するためにISP(Image Signal Processor)を大きく強化し、さらにCPU/GPU/DSPも強化することで、それらを異種混合で処理していくQualcommのAIエンジンの性能が大きく引き上げられていることがSnapdragon 888の大きな特徴だ。

Samsung電子の5nmを採用でモデムを内蔵することにより基板設計を有利に

Snapdragon 888のパッケージ。ダイはSamsung電子の5nmで製造される。ダイサイズやトランジスタ数などは非公開(出典:Qualcomm)

　公開されたSnapdragon 888だが、例年のSnapdragonの進化よりもやや大きめの進化となっている。その最大の要因は、製造プロセスの微細化が図られていることだ。Snapdragon 855/865ではTSMCの7nmプロセスが製造には利用されてきた。それに対して、今回のSnapdragon 888ではSamsung Electronicsの5nmプロセスで、Qualcomm向け特注プロセスが採用されている。

　なぜSamsungを選んだのかに関しては、「いつでも製品の特性などに応じて最適なプロセスノードやファウンダリを選択している」と述べるだけで、具体的な理由に関しては明かしていない。なお、Snapdragon 835/845ではSamsungの10nmを利用していたが、Snapdragon 855/865ではTSMCの7nmへと変更しており、世代ごとにファウンダリを変えているというのはそのとおりだ。

　しかし、現在TSMCの5nmプロセスを利用して出荷できているのがAppleだけという現状を考えれば、TSMCのラインにおける優先度がAppleにあることは明白だ。TSMCの最先端のラインはファブレス半導体メーカーの奪い合いという現状があり、それを考えれば競合となるAppleが優先されるTSMCよりも、自社が優先されるSamsungの5nmを選んだと考えられる。

　ただ、Samsungの5nmはTSMCの5nmに比べて歩留まり(製造した製品のうちの良品率)の立ち上がりが遅いという報道が相次いでおり、それが不安材料の1つとは言える。しかし、今回実際に製品として発表でき、そして2021年の前半中にはOEMメーカーのスマートフォンに搭載されて出荷可能と明らかにしたということは、その目処は立ったということだ。

　仮に歩留まりがあまり良くないのに強行して製品を発表しても、OEMメーカーが「足りない! 足りない! 」と大騒ぎして、ばれてしまうことは目に見えている(PCメーカーがここ数年何をアピールしているか考えればすぐわかるだろう)ので、少なくともOEMメーカーが求める数は確保できる見通しが立ったということだと考えられる。

従来製品ではSoC+モデム+RFの3チップ構成だったが、Snapdragon 888ではモデムは内蔵しているので、SoC+RFでスマートフォンが構成できる(出典:Qualcomm)

　そのプロセスの微細化のわかりやすい恩恵が、5Gモデムの内蔵だ。といっても、すべてを内蔵したわけではなく、モデムのMACなどのデジタル部分を内蔵し、RF(無線)モジュールは外付けとなっている。この仕組みは4G世代と同様であり、特別というわけではない。Snapdragon 865では、SoC、モデム、RFという3チップ構成だったのが、2チップに減ることになる。OEMメーカーにとってはモデム分の実装面積を減らすことができるので、より小さな基板を設計/製造できるし、製造コストを抑えられる。

　AppleのA14ではモデムが外づけで、Qualcommなどが供給しているモデム、RFを別途搭載しなければならないため、3チップ構成のままになる。この点はSnapdragon 888の大きなメリットと言える。

モデムのスペック、クライアント向けとしては業界で最高のモデムを内蔵していることがSnapdragon 888のメリットの1つである(出典:Qualcomm)

　なお、RFに関してはサブ6(6GHz以下の帯域)とミリ波(28GHzなどの超広帯域)の両方に対応しており、SAとNSAの両方の方式に対応している。キャリアアグリゲーション(複数の帯域を束ねて通信するモード)にも対応しており、最大で下り7.5Gbps、上りは3Gbpsでの通信に対応する。

　また、細かいことだが、従来製品では対応していなかった、デュアルSIMのシステムで両方とも5GHzでスタンバイするモード(5G Multi-SIM)にも対応している。このため、Snapdragon 888を搭載したデュアルSIMのシステムでは、どちらのSIMカードスロットにも5G対応SIMを入れて利用することができる。

CPU、GPUともに性能強化が図られる

Kryo 680の特徴はCortex-X1を採用していること。高性能(Cortex-X1×1+Cortex-A78×3)と高効率(Cortex-A55×4)を切り替えて利用できる(出典:Qualcomm)

　その新しい5nmに基づくSnapdragon 888だが、CPU、GPU、NPUの代わりとなるDSP、そしてISPのいずれもが大きく強化されている。

　CPUは前世代となるSnapdragon 865ではArmからIPライセンスとして提供されているCortex-A77(4コア、高性能コア)+Cortex-A55(4コア、高効率コア)という組み合わせになっていた。ただし、A77のコアのうち1つだけが、高クロックで動くというのがSnapdragon 865の仕組みだった。これは元々のCortex-A77のデザインにはない特別仕様だったのだが、QualcommはArmからこうした特別デザインができるライセンス(Build on Arm Cortex Technology)を供与されており、その権利を行使してこうしたデザインになっていたのだ。

　Snapdragon 888では、Armの最新IPデザインであるCortex-A78をベースにして、4つあるコアのうち1つだけはCortex-X1というより性能を引き上げたデザインになっている。Cortex-X1ではL2キャッシュやL3キャッシュを倍にするなどの仕様になっているが、今回のSnapdragon 888に搭載されたCortex-X1ではL2キャッシュは倍の1MBになっているが、L3キャッシュは従来製品と同じ4MBに留まっている。

　キャッシュサイズを大きくすることはもちろん性能にはいい影響を与えるのだが、その反面ダイサイズの肥大化を招くことになるので消費電力的には不利になる。今回はそのバランスを勘案してL2キャッシュを増やし、L3キャッシュは4MBのまま据え置いたのだろう。また、システム全体(CPU/GPU/DSP/ISPすべて)が使えるシステムキャッシュも搭載されており、3MBが用意されている。

　なお、Cortex-X1とCortex-A78が3コアの4コアが1つのクラスターになっており、通常時にはこちらが有効になり、省電力動作時には高効率コアとなるCortex-A55の4コアに切り替わって動作する。なお、性能を重視する場合には8コアすべてが有効になる仕組みは従来の製品と同じだ。

従来製品に比べて性能でも電力効率でも25%向上(出典:Qualcomm)

競合A社(Competitor A)などを上回る性能を発揮(出典:Qualcomm)

　こうした性能により、競合A社(Appleだと思われる)と比べてCPU単体の性能では、より高い性能を発揮するというベンチマークデータも公開されているが、前世代の製品(Snapdragon 865)に比較すると25%の性能向上、25%の電力効率の改善が実現されている。

Adreno 660、相変わらずアーキテクチャの詳細は未公開(出典:Qualcomm)

GPUの性能、競合A社(Competitor A)は筐体が熱くなる前は性能が高いが、その後性能は下落するとQualcommは主張(出典:Qualcomm)

　GPUはAdreno 660へと強化されている。Qualcommが明らかにしたのは35%の性能向上、20%の電力効率の改善という結果だけで、何がどうしてそうなったのかに関しては例年通り公開されなかった。しかし、記者向けのQ&Aでは「シェーダユニットのエンジン数なども強化されているほか、GPU全体にエンジンが強化されている」と説明している。

26TOPSというAI推論時の性能を実現したSnapdragon 888、競合に比べて高い性能を発揮

Snapdragon 820に最初に異種混合のAIエンジンが搭載されて以来、今回のSnapdragon 888で第6世代になる(出典:Qualcomm)

　DSPはHexagon 780へと強化されている。Hexagon 780はスカラー(整数演算)アクセラレータ、Tensorアクセラレータ、ベクターエクステンションの3つのアクセラレータから構成されており、利用できるメモリ量が増えるなどしており、Tensorコアは2倍に、スカラーは1.5倍に性能が強化されている。

Hexagon 780(出典:Qualcomm)

Hexagon 780の強化点(出典:Qualcomm)

DSPだけでなくGPUにもディープラーニングの推論を効率よく実行する命令セット(DP4Aなど)が追加されている(出典:Qualcomm)

　そうした強化はDSPだけではない。SnapdragonのAI推論は、CPU/GPU/DSPを、ミドルウェアで異種混合して実行していく。この点が単体型NPU(Neural Processing Unit)を搭載しているApple A12などの競合製品との違いと言える。このため、DSPの性能強化だけでなく、CPUやGPUの性能強化も、AI推論の性能強化につながっている。

　たとえば、GPUでは新しい命令セットとしてDP4A(Qualcommでは4-input mixed precision dot productと呼んでいる)を導入して、8bitの整数演算をより効率よく実行できるようにしている。これを上手く使うと、推論で多用されるINT8での演算において最大4倍程度効率を引き上げられるので、大きな効果があると考えられる。

Qualcomm Sensing Hub(出典:Qualcomm)

Qualcomm Sensing Hubの性能は5倍に(出典:Qualcomm)

　もう1つの強化は、Qualcomm Sensing Hubの性能強化だ。Qualcomm Sensing Hubは、IntelがIce Lake/Tiger Lake世代のSoCに搭載しているGNA(Intel Gaussian & Neural Accelerator)と同じように、低消費電力で長時間にわたって推論処理を行なうためのアクセラレータだ。たとえばオーディオ処理やディスプレイ状態の変化などを検知することが可能になっており、それをもとに推論を低消費電力で行なうことが可能になっている。

　このQualcomm Sensing HubはSnapdragon 865ではじめて搭載され、Snapdragon 888には第2世代が搭載されている。Qualcommによれば処理能力は5倍になっており、従来の製品ではできなかったCPUからの負荷のオフロードのタスク数は80%増えている。また、Googleが提供するTensorFlow Microを利用してQualcomm Sensing Hubに対応したソフトウェアの開発ができるようになり、初代のQualcomm Sensing Hubよりも使い勝手がよくなっているという。

Snapdragon 888全体で26TOPSを実現している(出典:Qualcomm)

AI推論性能のベンチマーク結果、他社を大きく上回っていることがわかる(出典:Qualcomm)

消費電力効率の比較、Snapdragon 888が他社製品を引き離している(出典:Qualcomm)

　そうした強化により、Snapdragon 888のSoC全体では26TOPS(Tera Operations Per Second)の性能を実現している。この性能はモバイル向けのSoCとしては現時点では最高性能と言える。実際Qualcommが公開したベンチマークデータを見れば、AIの推論(Inference)において、Appleだと思われる競合A社に比べていずれも高い性能を発揮していることがわかる。

　今後スマートフォンでの性能競争の主眼はAIの推論性能に移っていくと考えられており、早くから異種混合のアーキテクチャを採用してきたQualcommはその点で有利なポジションにいると言える。

動画撮影環境を大きく変える色深度10bit HDRとSnapdragon 888の組み合わせ

Snapdragon 865を搭載したスマートフォン、Galaxy Note20 Ultraなどで8K撮影にも対応している(出典:Qualcomm)

　そして今回Qualcommがもっとも力を入れて強化している部分がISPだ。というのも、スマートフォンの競争領域は、すでにカメラ性能の1点に絞られてきており、カメラの使い勝手や性能がその評価に大きな性能を与えているからだ。

Spectra 580の特徴はトリプルコアに強化されていること(出典:Qualcomm)

　たとえば、2020年に日本で販売が開始された5Gスマートフォンでは、8Kビデオが撮影できるモデルがいくつかある。そのすべてはSnapdragon 865を採用しており、内蔵されているSpectra 480を利用して8K動画の処理が行なわれている。これに対してAppleのA14を搭載したiPhone 12 Proは、4K動画の撮影までに留まっており、8K動画は撮影できない。この点は明快にSnapdragon 865のA14に対するアドバンテージと言える(もっともA14の性能で8K動画の撮影ができないかはわからない、あくまでiPhone 12 Proでは8K動画の撮影には未対応という事実だけが明らかになっている)。

　一言で8Kの動画を撮影するというと簡単だが、実際にはRAWで撮ったフレームをH.265(HEVC)などのコーデックで圧縮しながら24～30fpsを処理していかなければならい。もちろんハードウェアエンコーダを内蔵しているからこそできる作業だが、それもこれもISPの性能が高くなければできない処理だ。

　Snapdragon 888のISPであるSpectra 580では、ISPのコアをデュアルコアからトリプルコアへと強化した。もちろん単純に処理エンジンが1.5倍になることは大きく、Qualcommの発表によればISPの性能は2.7Gピクセル/秒となり、前世代に比べて35%ほど処理能力が上がっている。

トリプルコアになったことで、3つのレンズにそれぞれISPを割り当てて、動画撮影中にレンズを切り替えて撮影なども可能になる(出典:Qualcomm)

Spectra 580の性能(出典:Qualcomm)

　また、ISPが3コアになることで、新しい使い方も可能になる。たとえば、ハイエンドのスマートフォンでは背面に3つのレンズがある製品が増えており、静止画ではそのレンズが切り替えることができるが、動画撮影時にはレンズは1つだけが利用可能で、ズームはデジタルズームという製品がほとんどだ。

　しかし、Snapdragon 888の新しいISPでは、3つあるISPをそれぞれ3つのレンズに振り分けて処理させることができる。それにより、それぞれの動画で撮影状態にしたまま、切り換えることが可能になるため、動画を撮影時にもレンズを切り替えて利用するという実装が可能になる(もちろんそれはOEMメーカーの実装次第だ)。

暗所での撮影性能も向上している(出典:Qualcomm)

Staggered HDRに対応したCMOSイメージセンサーと組み合わせると色深度10bitのHDR動画を撮影可能に(出典:Qualcomm)

　もう1つは、性能が上がったことにより、深い色深度でのHDR動画が撮影することになる。現在OEMメーカーは「Staggered HDR」と呼ばれる処理に対応したCMOSイメージセンサーの導入を検討しており、それを利用すると、10bit色深度でHDRの4K動画を撮影することが可能になる。

　従来の「Sequential HDR」のCMOSイメージセンサーではフレーム単位で処理するためISPなどにかかる負荷は膨大になるが、「Staggered HDR」ではそれをライン単位でやるため、ISPやプロセッサにかかる負荷が小さくなり、10bit HDRを実現することが容易になるのだ。

　Staggered HDRのCMOSイメージセンサーはすでに自動車用として実用化されており、トンネルの出口のような明暗差が大きなところでも確実にカメラセンサーが動作する用途などに利用されている。それがモバイル用になると、たとえば暗いところでの動画撮影などのニーズを満たすことが可能になる。その意味で、2021年のスマートフォンにSnapdragon 888とStaggered HDRに対応したCMOSイメージセンサーの組み合わせは、スマートフォンの動画クオリティを大きく変える可能性がある。

AI推論に向けた演算性能を強化

Snapdragon 888を搭載したリファレンススマートフォン。来年の前半には搭載スマートフォンが登場する見通し(出典:Qualcomm)

　このように、Snapdragon 888は、CPUやGPUといった本誌の読者にとってお馴染みの演算器だけでなく、DSPやISPといった今のスマートフォンにとってより重要な演算器になりつつある部分が強化されており、そうした強化が来年に登場するSnapdragon 888搭載のスマートフォンにとって機能拡張につながる可能性を秘めている。

Arcsoftの動画撮影時の画像安定機能のデモ、QualcommのAIエンジンを利用して実装されている(出典:Qualcomm)

日本のカメラアプリベンダMorphoの画質鮮明化機能もQualcommのAIエンジンを利用できる(出典:Qualcomm)

　そしてもう1つ重要なことは、AI(マシンラーニング/ディープラーニング)の推論の性能が大幅に引き上げられている点だ。15TOPSから26TOPSへと大幅に引き上げられていることで、新しいAI推論のアプリケーションをOEMメーカーが実装吸うことが可能になる。Qualcommの発表会ではArcsoftの動画安定化機能やMorphoの画像鮮明化機能が、Snapdragon 888のAI機能を利用して実装されていることがデモされた。今後そうしたアプリケーションが増えていけば、これまで予想もしなかったようなAIの機能が登場する可能性もあり期待したいところだ。