音声付き20秒動画を1回で生成、「FLUX 3」早期アクセス

　Black Forest Labsは7月23日、画像、動画、音声を統合的に学習したマルチモーダル基盤モデル「FLUX 3」を発表した。現時点では、動画生成機能「FLUX 3 Video」の早期アクセスを実施しており、今後数週間から数カ月かけて順次機能を拡充していく予定だとしている。

　FLUX 3では、同一のアーキテクチャ内でマルチモーダルな生成と理解を効率的に行なう「Self-Flow」と呼ばれる手法を採用。物体の物理的な動きとそれにともなう音といった、複数のモダリティを統合的に学習することで、現実世界の物理法則などをより深く理解できるようになった。開発に際して、計算リソースとデータリソースの大幅な拡張も行なったという。

　動画生成では、1回の生成で最大20秒間の音声入り動画を作成可能。テキストからの生成だけでなく、参照画像/動画を使った生成、キーフレームからの動画生成などが行なえる。加えて、多言語での対話、アニメ/映画といった幅広いスタイルの適用、クリップをつなぎ合わせた長時間動画の作成にも対応する。

テストの結果

　生成動画のどちらが好ましいかを比較した同社のテストによれば、FLUX 3のほうが好ましいと評価された割合は、Grok Imagine Videoに対して最大69%、Kling v3 Proに対して60%、Gemini Omni Flashに対して52%だったという。中でも、人間の表情の表現、物理現象と音のつながり、多言語への対応といった点でFLUX 3は優れていると説明している。なお、モデルはまだ開発段階であるため、結果は暫定的で今後さらなる改善が見込めるとしている。

　また、画像生成の「FLUX 3 Image」は、従来バージョンと比べて複雑なプロンプトの処理やテキスト生成の能力が向上。こちらは今後数週間以内に早期アクセスが始まる予定。

　加えて、行動予測の「FLUX 3 Action」も今後提供する予定で、ロボット学習向けビデオアクションモデル「FLUX-mimic」はmimic roboticsと共同で開発した。