Meta、絵を簡単にアニメ化できるAIツール。オープンソースで公開

　Metaは、手書きの絵をアニメーションさせられるAIツール「Animated Drawings」を発表した。オープンソースプロジェクトとして、GitHubにて公開している。

　同社のFundamental AI Research (FAIR)チームが2021年から研究/開発を進めていたツール。物体検出、ポーズ推定、画像処理ベースのセグメンテーション手法などを通じて、手書きの絵を素早くデジタル化し、既存のCG技術を適用して変形やアニメーションを適用することで実現しているという。

　AIモデルの学習に際しては、膨大な数の手書きの絵が求められるだけでなく、バウンディングボックスやセグメンテーションマスク、関節の位置などのアノテーションも必要となる。だが、そのようなデータセットは存在しなかった。

　そこでチームでは、Webベースのツールとして「Animated Drawings Demo」を作成して公開。クリエイターが絵をアップロードすると、AIモデルが推定した結果を確認したり修正したりでき、アニメーションとして出力できるツールで、そのユーザーフローの一環として、データを研究に活用してよいとするオプションを用意することで、データセットの確保とモデルの改善を目指した。

　実際には、公開後数カ月で160万枚以上の画像で同意が得られたが、その多くは当初想定していた素人の書いた人型の絵ではなく、ロゴやぬいぐるみ、アニメキャラクター、ペット、アクションフィギュアなど多岐に渡ったという。また、背景透過やサウンドエフェクト、テキストオーバーレイなどといった機能要望も寄せられた。

　絵からアニメーションを生成する体験へのユーザーの関心が強かったことを受け、チームではAnimated Drawings Demoの拡張や新機能の実装をするのではなく、より広く使ってもらえるよう、オープンソースでモデルとコードを公開することにしたとしている。