ニュース

Adobe FireflyにAI動画生成や翻訳/吹き替え機能

動画生成(ベータ版)

 Adobeは、生成AIツール「Firefly」向けに、動画生成(ベータ版)や音声と動画の翻訳といった新機能を実装した。動画生成AIモデルFirefly Video Modelの搭載により実現した機能で、Web版にて利用できる。

 動画生成(ベータ版)は、1080p解像度で縦横比16:9または9:16、フレームレート24fps、長さ5秒の動画を生成できる機能。これまでウェイティングリストへの登録が必要な限定ベータだったが、今回パブリックベータでの提供へと移行したかたち。

 テキストプロンプトだけでなく、画像を元に動画を生成可能。動画の開始時点や終了時点のフレームを画像で設定し、その間を補完する映像も生成することもでき、カメラのアングルや動き、ズームなどの設定も行なえる。また、3Dスケッチツールと組み合わせることで、3Dシーンを参照して画像を生成することも可能となる。

開始時点と終了時点のフレームを画像で指定できる(プロンプトの左部分)

 「動画を翻訳」および「音声を翻訳」は、動画や音声ファイルをFireflyにアップロードすることで、内容の文字起こし、翻訳、設定した言語での吹き替えまで行なえる機能。長さは最大10分、言語は20種類以上に対応しており、言語の自動認識や、複数の言語への同時翻訳もできる。生成される吹き替え音声は音質やトーン、リズム、音響などは維持できるとする。

 これらの生成コンテンツは商用利用が可能。Web上で提供するため、PCだけでなくモバイルからでも利用できるのも強みだとしている。作成者の情報や作成/編集の過程などをメタデータとして付与するコンテンツクレデンシャルは、Fireflyで生成した動画についても適用される。

 あわせて単体の有料プランとして、1080pの5秒動画を月に最大20本生成できるFirefly Standard(月額9.99ドル)、最大70本生成できるFirefly Pro(月額29.99ドル)も提供を始める。加えて近日中にはプロ向けのFirefly Premiumも用意される。

日本語の動画をアップロードし、英語などに翻訳/吹き替えできる

 また、Firefly Web版のリニューアルも実施。おすすめ、画像、動画など生成したいコンテンツに応じたタブが用意されるほか、プロンプト入力部分から画像または動画のどちらを生成するか選べるようになるなど、UIを全体的に刷新している。

刷新されたFirefly Web版