ニュース

音・会話も同時生成の「FLUX 3 Video」提供開始。オープンウェイト版も計画

 Black Forest Labsは8月4日(独時間)、HD(720p)とフルHD(1080p)、最大20秒の出力に対応し、音声もネイティブに同時生成する動画生成AI「FLUX 3 Video」の初期バージョンを発表した。BFL APIおよび一部パートナーを通して一般提供を開始しており、近日中にはオープンウェイト版の「FLUX 3 Dev」や、画像生成/編集AIの「FLUX 3 Image」も提供する予定。

 FLUX 3 Videoは、本質的にマルチモーダルなモデルであるという。現実を可能な限り正確にモデル化するために設計されており、特定の均一なサブセットやスタイルに収束することがない。このため映画的な美学に限定されない、生々しく、自然で、遊び心があり、懐かしく、あるいは奇妙な映像出力が可能だとしている。

 機能としては、テキストの説明からシーンを生成できる「Text-to-Video」、キーフレームの画像を指定して動画に変換する「Image-to-Video」、最大4秒の動画を与えてその続きをプロンプトで指示する「Video Continuation」を備える。

 また、1本の動画内でシーケンスの一貫性を維持しながら複数のシーンやアングルを作成できる。また、個々のフレームとともに会話や効果音、環境音を同時に生成可能だ。さらに、日本語を含む多言語をサポートしており、事前学習で得た世界に関する知識と、リアルタイムのグラウンディング(事実への接地)を組み合わせているため、ドキュメンタリーや短編教育コンテンツも生成できる。

FLUX 3 Videoのドラフトモードで生成した動画。本番品質より低コストで素早くプレビューできる

 高速生成が可能なドラフトモードを搭載するのも特徴。プロンプトのプレビューを低コストで素早く確認し、満足した場合のみフル品質でレンダリングする。最終出力の被写体や構図、動きは、承認したドラフトと同一性を保てるとしている。

 社内評価において、Text-to-Videoは既存の最先端モデルを大きく上回る性能を達成できたとしている。また、信頼できる第三者パートナーのCinderと協力しリリース前にさまざまなリスクを評価。合意のない性的画像や児童性的虐待コンテンツを含むすべてのデータ形式において、悪用リスクを軽減するための安全対策を検証したという。