ニュース
Adobe、次の生成塗りつぶしは動画にも。窓越しの風景写真も鮮明にするAIも
2023年10月12日 15:05
Adobeは、アメリカ合衆国カリフォルニア州ロサンゼルス市にあるロサンゼルスコンベンションセンターにおいて、同社のクリエイターツール「Creative Cloud」の年次イベントとなる「Adobe MAX 2023」を、10月10日～10月12日(現地時間)の3日間にわたって開催している。10月11日夕刻には、イベント恒例の「Sneaks」が開催された。
SneaksはAdobe MAXの中で基調講演よりも人気がある? と一部に評判のイベントで、将来の技術を開発する部署(Adobe Labs)などに所属する研究者の開発成果がいち早く公開される場となっている。今回も11の開発中の製品や技術(Adobeでは開発中製品のコードネームはProject～で呼ばれる)が紹介された。
Adobeで基礎研究を行なっているAdobe Labs、その「晴れの舞台」がSneaks、翌年には実際の製品に採用された登場も
Adobeには研究開発部門は大きくいって2つある、基礎研究を行なう開発専門部門と製品部門の開発部門だ。前者はAdobe Labsと呼ばれる同社のCTO(最高技術責任者)の管轄下にあるような研究開発部門。Adobe Labsでは基礎研究を行なっており、製品化に値するような技術が確立された場合にはその成果は製品部門に渡して、製品部門側の開発部門が製品化に向けて開発を続けて製品化にこぎつける。
Adobeが3月に行なわれるAdobe Summitと10月に行なわれるAdobe MAXという2つのフラッグシップイベントで行なっているのがSneaksで、言ってみれば「Adobe Labsの文化祭」といった趣のイベントになる。普段開発している技術を、SummitやMAXというAdobeの顧客が大観衆として詰めかけている中で発表するという「晴れの舞台」がSneaksなのだ。
ただ、その観客は正直に言って容赦はなくて、その発表された内容が面白くなければブーイングが飛んでくるし、プレゼンターがミスをすれば笑い飛ばすことになる。というのも、このSneaksに向けては観客にビールなどのアルコールが配布されるのが通例で、みんなビール片手にこのSneaksを見ているので、ただでさえ容赦がないのに、そこにアルコールによる「ブースト」がかかっているのでさらにだ。
なお、今回のSummitのSneaksでは実に11つの新しいProjectが公開された。こうしてSneaksで発表されたProjectのうち観衆の反応がよかったものは、そのまま製品部門に引き取られて実際に製品化されていく。
たとえば昨年(2022年)のAdobe MAXでは本年に入って「生成塗りつぶし」として実装されたような機能がデモされており、今年(2023年)のSneaksでデモされたものが来年(2024年)のPhotoshopやPremiere Proなどに実装されても不思議ではない。その観点でもSneaksは要注目なのだ。
Project Fast Fill
Project Fast Fillは簡単に言えば、既にPhotoshopでサポートされている「テキストから画像生成」や「生成塗りつぶし」の機能を、動画に拡張したものだ。ユニークなのは動画のあるフレームを、まるでPhotoshopのそれのように範囲を指定して、テキストのプロンプトで指示を出すとその通りに画像が生成され、生成塗りつぶしが行なわれる。
今回のデモでは、ノーネクタイの男性の1フレームにネクタイを画像生成すると、それが動画全体に適用される様子が公開されていた。
これまでそうした処理はフレームごとに1フレームごとに処理して行くか、複数のフレームに同じ処理をしていくなどの形で処理されるのが一般的だったが、これを応用すると、人間の一部、たとえば、鼻を少し高くする、あるいはどこかをマスクして隠すという処理を、1つのフレームに対して行なうだけで、以降全てのフレームに対してAIが処理を施していくので、非常に省力に動画の生成塗りつぶしを行なえるので、画期的な機能だ。
仮に将来のPremiere Proにこの機能が乗れば、ネットスラングである「フォトショする」(Photoshopで画像に対して修正を加えること)が、動画に適用されるようになって「プレみる」? になるのかもしれない(知らないけれど)。
Project Poseable
キャラクターのポーズ(要するに物体の3D座標情報)を、自由に変えられる3Dモデルソフトウエア。写真に適用して、写真の中の人物にそのポーズをさせた画像を生成することなどが可能。たとえば、ドラゴンボールのかめはめ波のポーズをしている人の写真を、Project Poseableに読み込まされれば、自分がかめはめ波をしている3Dの画像を生成することが可能になる。
これまで、そうした画像を生成させるには、3Dモデリングツールで人間のモデルを作り、それにキャラクターを描いていくという膨大な時間とスキルが必要だったが、そうした必要もなく、例になるような写真があれば、それを元に簡単にそうした決めポーズの画像を生成できる。
Project See Through
Project See Throughは、スマートフォンなどで写真を撮る時にありがちな、ガラス越しに何かを撮影した時に生じる光の反射や屈折を生成AIの機能を利用して取り払うものだ。
たとえば、新幹線の右側の窓側席に座って東京から名古屋に向かうとき、天気が良ければ富士山の写真を撮影できるだろう。スマートフォンのレンズを窓にぴったりつければ多少の反射は防げるが、それができないと、微妙な光の屈折などが写真に残ってしまうだろう。
Project See Throughではそうした反射や屈折などを取り払い、鮮明な画像を生成する。ユーザーはただボタンを押すだけでそれができる。前出の新幹線に乗って富士山の写真を窓越しに撮影した時には、Project See Throughに写真を読み込ませてボタンを押すだけで鮮明な富士山の画像をSNSに投稿したリが可能になる。今すぐにでもスマートフォン向けのLightroomなどに実装してほしい機能だ。
Project Draw & Delight
今回のAdobe MAXで発表されたIllustratorの「テキストからベクター生成」の発展版となる機能。Project Draw & Delightではテキストからだけでなく、画像からもそのスタイルでベクターを生成できる。
たとえば、子犬のイメージを読み込めば、そのイメージのテイストの子犬のベクターイメージを生成してくれる。もちろんそのベクター画像は編集できるので、生成したイメージをベースにして編集できる。
Project Primrose
Project Primroseはテキストスタイルディスプレイで、Firefly、Effects、Stock、Illustratorなどのコンテンツを表示するディスプレイになっており、女性のドレスに統合することで、模様を変えられる洋服となっている。Sneaksでは研究者自身が実際にそれを着てきて、色や模様などが変わる様子をデモしていた。
Project Neo
3D作成ツールを使いこなす知識がなくても、2Dのデザインに3Dのオブジェクトなどを簡単に組み込むためのツール。2Dのツールを使いこなす知識があれば、簡単に3Dオブジェクトをデザイン取り入れることが可能になる。
Project Scene Change
別の動画のオブジェクト(たとえば人間など)とバックグラウンドとなる背景を合成するためのツール。そのまま合成するとアングルなどが一致していないため、不自然な感じになってしまうがAIがバックグラウンドになる動画のアングルを自動で調整して合成する。それにより自然な動画の合成が可能になる。人間が別のオブジェクトの背後になり、光源から影が生じる時などにも、AIが自動で調整する。
Project Glyph Ease
グリフ(書く文字の、具体的なデザインや傾向)のデザインに伴う面倒なプロセスを省力化し、カスタマイズされたレンダリングをより手軽に作成できるようにする。
Project Res Up
拡散ベースのアップサンプリング機能を利用して、低解像度の動画を高解像度にアップスケーリングできる。かなり低解像度の動画もAIを活用して補正することで高解像度に変換できる。
Project Dub Dub Dub
動画の音声吹き替えプロセスを自動化するソフトウェア。AIなどを活用することで、動画の音声を多言語に変換する。通常のふき替えではそのローカル言語を話す声優さんがふき替えを担当するが、Project Dub Dub Dubでは音声は、元の俳優の声をAIが別の言語で再現する。
たとえば、ハリソン・フォード氏が主演しているハリウッド映画を吹き替えるときには、ハリソン・フォード氏の声で日本語の音声が再現されることになる。
Project Stardust
AIが自動で画像の中の人物や物体などのオブジェクトを認識して、範囲指定も行なってくれる。たとえば、必要のない通行人を消した場合には、通行人がいた場所を生成塗りつぶしが自動で塗りつぶして違和感がないようにする。その逆に写真には写っていない物体(たとえばペットなど)を追加したり、人物のシャツをセーターに変更したりといった塗りつぶしも可能になっている。