笠原一輝のユビキタス情報局
Galaxy S24 Ultraは海外にも強い最強記録ツールだと気づいた。AI文字起こし+翻訳、超広角から10倍望遠と死角なし
2024年1月18日 03:00
Samsung Electronicsは、1月17日(現地時間)に新製品発表イベント「Samsung Unpacked January 2024」を、米国カリフォルニア州サンノゼ市のSAP Centerにおいて開催。「Galaxy S24」、「Galaxy S24+」、そして最上位「Galaxy S24 Ultra」の3製品を発表した。
各製品の概要に関しては、別掲の記事を見てもらいたい。ここでは最上位モデルのGalaxy S24 Ultraに焦点を絞って、AI機能やカメラ関連がどのように改善されているのかを解説する。
「みんなのためのAI」をテーマに、CESでAI家電などを展示したSamsung
Samsungは、1月9日から米国ラスベガスで開催されたCESに出展し、「AI for All」(みんなのためのAI)というテーマでさまざまな展示を行なった。PCに関してはCore Ultraを搭載した“AI PC”のGalaxy Bookを展示しており、それに関しては以下の記事を参照してほしい。
Samsungはそれ以外にも、白物家電やIoTにAIを応用した製品の展示を行なっている。
たとえば、冷蔵庫のAI機能では、冷蔵庫の内部に画像認識用のカメラを用意しており、そのカメラが冷蔵庫の中に入れられたものを、自動で認識していつ冷蔵庫に入ったのかなどの記録を残す。
冷蔵庫の外側のタッチディスプレイで、冷蔵庫を開けなくても、そうした記録を確認可能で、どの食材がいつ冷蔵庫に入れられたものなのかを簡単に確認でき、冷蔵庫を開けたときに生じる、無駄な電力の消費を防ぐことができる。
しかも、冷蔵庫のAIが古くなってきた食材をユーザーに示す機能も用意されており、フードロスの削減にもつなげられる。
別の例では、洗濯機にAIが実装されている。簡単に言うと、洗濯機のAIが重量などをチェックして、水や洗剤を使いすぎたりしないように動作するため、より高い経済性と環境への負荷を減らしながら動作する。
このままの勢いだと、来年ぐらいにはLLM(大規模言語モデル)を利用して冷蔵庫も洗濯機もしゃべりだしそうだが、白物家電もそうした方向を目指しているのだな、とよく分かるSamsungの展示だった。
Galaxy S24 UltraはSnapdragon 8 Gen 3を利用してローカルでAI処理を行なうオンデバイスAIに
「AI for All」のテーマは、Unpackedで発表されたGalaxy S24シリーズでも貫かれている。しかし、Galaxy S24シリーズのAIは、同じAIでも「オンデバイスAI」(またはエッジAI)となっており、処理をローカルのCPU/GPU/NPUで処理するAIだ。
というのも、Galaxy S24シリーズの3製品には、SoCとしてSnapdragon 8 Gen 3モバイル・プラットフォーム for Galaxy(以下Snapdragon 8 Gen 3 for Galaxy)が採用されている。
Snapdragon 8 Gen 3は、昨年の10月にQualcommが発表したスマートフォン向けの最新SoC。詳しくは以下の記事に書かれているが、簡単に言えば、前世代のSnapdragon 8 Gen 2と比較して、CPU/GPUは数十%性能が向上し、AIの推論処理を専用に行なうNPUの性能が2倍になっていることが特徴になる。
今回Galaxy S24シリーズに搭載されているSnapdragon 8 Gen 3 for Galaxyは、「for Galaxy」と付いていることからも分かるように、「Galaxy特別版」という扱いになる。
ただ、だからと言って、内部のアーキテクチャが通常版と違うのかというとそうではなくて、CPUやGPUなどのクロック周波数などが通常版よりも若干高めに設定されているという意味での特別版になる。
なお、今回のGalaxy S24シリーズは、冷却に利用しているベイパーチャンバーが前世代と比較してやや大型化しており、より広範囲に熱を拡散しつつ、よりSoCが性能を発揮できるように設計されている。
QualcommはSnapdragon 8 Gen 3で、NPUの性能を特に引き上げており、生成AIの処理などをローカルのSoCだけで可能にしている。
Qualcommが昨年の10月にマウイで開催したSnapdragon Summitでは、MetaのLlama 2などのLLM(大規模言語モデル)を、インターネットに接続していなくても利用できる(つまりデバイス上のSoCだけで処理する)デモを行なっていた。
レコーダアプリで生成AIを利用して、文字起こしや翻訳をインターネットがなくても処理できる
今回SamsungがGalaxy S24シリーズに搭載したアプリケーションも、そうしたローカルのSoCだけで処理できるように設計されている。実際にインターネットをオフにしてもそれらの機能は動作しており、オンデバイス上で処理されていることを確認できた。
今回Galaxyでは、オンデバイスAIに対応した新しいアプリケーションとして、2つのアプリケーションを搭載している。
1つは音声レコーダアプリで、従来のGalaxy S23 Ultraに搭載されていた「Voice Recorder」アプリでも、音声文字起こしには対応していたが、文字起こしは最大10分という制限があり、正直会議や取材の記録を文字起こしするという用途には使えない代物だった。
しかし、今回のGalaxy S24シリーズに搭載された新しいアプリではそうした制限はなくなり、録音しながら文字起こしができるし、数時間にわたって録音したものを文字起こし可能になっている。
その意味で、Pixel 5～8シリーズに搭載されているGoogleの「レコーダー」機能と同等のオンデバイス文字起こし機能を実現していると言える。
この録音アプリでは、同時に言語翻訳機能が利用できる。たとえば、英語で録音しておいた文字起こしを、翻訳機能を使って日本語など別の言語に翻訳することが可能だ。
また、要約機能も用意されており、長文を要約することで何が要点だったかをAIが教えてくれる。これにより、文字起こししておいた英語のメモを、ほかの翻訳ツールを利用する必要なく、Galaxyのアプリだけで録音→文字起こし→翻訳というワークフローが完結するので、すばらしいと感じた。
また、Galaxy S24 Ultraを特徴である内蔵ペンと組み合わせても活用可能な「Samsung Notes」にも、翻訳機能が搭載されている。あくまでデモとして用意されている英語の文章を日本語に翻訳してみたが、結構な精度で翻訳できていた。これだけの精度が実現されているなら、スマートフォンだけでも、英語の会議の記録を取るツールとしてかなり使えると感じた。
このほかにも、同じ翻訳エンジンを利用して、SMSを翻訳する機能、電話の音声を他言語に翻訳しながら相手と話す機能(たとえば英語しか話せない相手に、こちらが日本語で話すと自分の音声が英語に翻訳されて相手に伝わる)なども用意されており、他言語に苦手意識を持っている人でも、Galaxy S24シリーズを持っていると、安心して海外に行けるなと感じた。
10倍ズームは5倍ズームに戦略的スペックダウン。それにより3倍と10倍の間をカバー可能になり実用性が向上
Galaxy S24 Ultraは、従来のGalaxy S23 Ultraと比較して、リアカメラの構成が微妙に変わっている。5眼のレンズがあり、うち4眼が通常のカメラで、うち1つがレーザーAF(オートフォーカス)用という基本的な構成は変わっていない。
しかし、RGBカメラの4眼のうちの1つが、従来のGalaxy S23 Ultraでは1,000万画素/光学10倍ズームだったのだが、今回のGalaxy S24 Ultraでは5,000万画素/光学5倍ズームに変更されていることが大きな違いになる。
それだけを見ると、10倍ズームが5倍ズームになってしまったのだから「スペックダウンしているのではないの?」と感じるかもしれないが、実はこれは「わざとこうしている」類いのスペックダウンで、実用上はむしろ便利になっている。
順を追って説明していこう。従来のGalaxy S23 Ultraと今回のGalaxy S24 Ultraのカメラを比較したのが、以下の図になる。なお、S23 Ultra、S24 Ultraの焦点距離は画角などから計算した35mm換算の焦点距離になる。
すでに述べた通り、Galaxy S23/S24 Ultraには5眼のレンズがあり、それぞれのレンズを1～5に分類して図にしてある。このうち、1と2、4と5に関しては、S23/S24 Ultraで基本的に同じスペックになっており、大きな違いはない(もちろん内部のCMOSセンサーやレンズそのものは変わっている可能性があるが、CMOSセンサーの画素数やレンズの焦点距離というスペックは同じという意味だ)。
しかし、ここで3としているレンズが両モデルの大きな違いで、すでに述べたようにGalaxy S23 Ultraでは1,000万画素/光学10倍ズームだったものが、Galaxy S24 UltraではCMOSの画素数は5,000万画素とスペックアップしつつ、レンズそのものは光学5倍ズームへとスペックダウンになっている。
今回のS24 Ultraでは、画素数は1,200万画素と減ってしまうが光学10倍ズーム相当となる部分を切り出せるようになっており、AIが若干の画像補整を行なうことで光学10倍ズームと同じように高画質な画像を撮影できるようにしている。
つまり、3のレンズは光学5倍(5,000万画素)が標準で、疑似的に光学10倍(1,200万画素)としても利用できるレンズということになる。しかも、従来のGalaxy S23 Ultraの光学10倍の画素数は1,000万画素だったことを考えると、Galaxy S24 Ultraの疑似光学10倍の1,200万画素はむしろ画素数が増えている。
従来のGalaxy S23 Ultraでもこれと同じ仕組みを利用して疑似2倍ズームの機能が機能として用意されており、Galaxy S23 Ultraでは、0.6倍、1倍、2倍、3倍、10倍を光学ズーム扱いとして撮影することが可能だった。今回のGalaxy S24 Ultraでは光学5倍ズームにも適用されて、疑似光学10倍としても利用できるようになったと考えられる。
このことの意味は、Galaxy S23 Ultraのカメラの弱点だった、3倍と10倍の間がだいぶ空いてしまい、5倍ズームあたりがあるともっと柔軟に撮影できるのにという課題に対処できることにある。
今回のGalaxy S24 Ultraでは光学で5倍のレンズを装着しており、それを疑似的に10倍ズームとして1,200万画素で利用できるようにすることで、0.6倍、1倍、2倍、3倍、5倍、10倍と光学ズームを切り替えていけることになる。
これは、レンズ交換式レンズに置きかえて考えてみれば、13.5mm～230mmまで焦点距離を柔軟に変えられる超広角から望遠までをカバーする万能な望遠レンズを付けて使っているようなものだと言える。
実際にはそんな万能な望遠レンズはないので、16mmぐらいの超広角レンズと23～230mm程度の望遠レンズとを組み合わせて利用することになる。
ミラーレス一眼で、軽量なカメラとそうした広角から望遠をサポートするような望遠レンズを付けると、軽く1.2kg～1.5kgの重量になってしまう。そこに超広角のレンズを別に持っていくと、さらに数百グラムの重量が増える。それがGalaxy S24 Ultraなら、13.5mm～230mmの焦点距離をカバーできるとともに、重量が200g強に激減するわけだ。
もちろん、大きくて明るいレンズが使える一眼レフで撮った方が高画質であることは言うまでもなく、プロ用のカメラを置きかえるものではない。ただ、筆者のような記者がメインの仕事、あるいはビジネスパーソンで、カメラで撮影するのはメインの業務ではなく普通のスマホよりは超広角も、広角も、10倍ズームのような望遠も高画質に撮影でき、かつ軽量なカメラが欲しい、そういうニーズにはマッチするのではないだろうか。
それとともに、オンデバイスAIによる文字起こし、そして翻訳機能、そうした機能も記者やビジネスパーソンにとってミーティングの記録を効率よく取るツールとして非常に便利だと言える。今のところGalaxy S24 Ultraは唯一無二の存在なのではないかというのが、今回実機を見た筆者の結論だ。