Google、よりリアルな動画を生成できるAIモデル「Lumiere」

Lumiereの生成例

　Google Researchは、よりリアルで一貫性のある動画を生成できるというAIモデル「Lumiere」を発表した。

　Lumiereは、動画生成AIにおける課題とされる「リアルで多様、かつ一貫性のある動きの表現」の解消を目指して開発したというAIモデル。テキストプロンプトから動画、画像から動画を生成できるほか、リファレンス画像のスタイルに沿った表現の動画を生成することも可能。与えた動画にテキストプロンプトでスタイルを適用する、画像の一部分を動かす、動画の一部分を補完・修正するといった処理にも対応している。

　既存のモデルがキーフレームを生成してから、時間的な超解像を行なうのに対し、時空間U-Netアーキテクチャにより、動画全体を一度に生成するため、高品質な動画を生成できるとしている。空間的および時間的なダウン/アップサンプリングと、事前学習済みのテキスト画像拡散モデルを用いることで、複数の時空間スケールで処理を行ない、フルフレームレートの低解像度映像を直接生成するという。

時空間U-Netアーキテクチャ