中間表現なしで動画の動きを画像に転送、キャラアニメAI「SCAIL-2」

　清華大学とZ.aiの研究チームは、中間表現を用いずに動画の動きをキャラクターに転送できるAIモデル「SCAIL-2」を公開した。モデルウェイトはHugging FaceおよびModelScopeからダウンロードでき、ライセンスはApache 2.0。

　SCAIL-2は、1枚のキャラクター画像と、動作の元となる動画を入力することで、キャラクターが動画と同じ動きをするアニメーションを生成するAI。

　従来のキャラクターアニメーション生成は、骨格マップなどによる「中間表現」を介して動きを転送する手法が主流だった。しかしこの手法は、複雑なシナリオでは本質的な曖昧さを抱えることとなり、キャラクターマスクは体型表現の柔軟性を制限し、奥行きが曖昧な重なり合うスケルトンが、複数キャラクターのインタラクションで誤解釈を引き起こす原因となっていた。

　SCAIL-2では、これらの中間表現をバイパスし、入力された動画の潜在表現を直接シーケンスに連結することで、必要な視覚情報をすべて取得。これにより、複数キャラクターの正確なインタラクションや、既存の動画内のキャラクターを別のキャラクターに置き換える動作をシームレスに実現した。

　また、スケルトンの意味論ではなく視覚的な文脈から学習しているため、学習データに含まれていない動物の動きや、一人称視点動画からの動きの転送も可能となっている。