Stability AI、静止画から指定したカメラワークのビデオが生成できる技術

　Stability AIは、1枚または最大32枚までの静止画から、指定したカメラワークによる3Dビデオが作成できるマルチビュー拡散モデル「Stable Virtual Camera」を発表した。現在は非商用ライセンスのもと研究目的で利用できる。

　Stable Virtual Cameraでは、複雑な再構築やシーン固有の最適化なしで、2D画像をリアルな奥行きと遠近感を兼ね備えた没入型3D動画に変換できる。従来の仮想カメラの使い慣れたコントロールを用いて生成AIの力を用いて、3Dビデオの出力を正確かつ直感的にコントロールできるのが特徴。

　動的なカメラ制御としては、ユーザーが定義したカメラの軌道のみならず、360度、レムニスケート(∞形状のパス)、スパイラル、ドリーズームイン/アウト、ズームイン/アウト、前進/後退、パンアップ/ダウン/左/右、ロールなどに対応。

　また、追加トレーニングなしで1:1、9:16、16:9、カスタムアスペクト比のビデオが生成でき、最大1,000フレームのビデオで3Dの一貫性を確保し、同じ視点に戻った際もシームレスなループとスムーズな遷移が可能だという。

　なお、初期のバージョンでは、人間、動物、水といった動的なテクスチャを特徴とする入力画像で品質低下するほか、非常に曖昧なシーンやオブジェクト/表面と交差する複雑なカメラパス、不規則な形状のオブジェクトなどで、ちらつきアーティファクトを引き起こす可能性があるとしている。