やじうまPC Watch
ピアノ曲を聴かせるだけで演奏シーンのCGを自動生成するAI
2021年2月22日 13:13
加Massive Technologiesは19日、ピアノの演奏音源から、リアルな3Dモデルによる演奏シーンの映像を生成するAIのデモ映像を公開した。
ピアノの演奏音源から楽譜を自動生成し、3Dモデルのモーションを合成する技術。同社が開発した機械学習アルゴリズムを用いて、音源に合わせた正確な運指を再現し、あたかも人間が演奏しているかのような動きを自動的に作り出す。
The clips on the right are AI generated from raw audio.
— Fayez Salka (@fayezsalka)February 19, 2021
Turn any audio file into 3d virtual concert with one click.
The AI extrated notes from raw audio and generated the appropriate playing technique, hand and body motion#3d#AI#MachineLearning#vr#ar#concert#MetaHumanspic.twitter.com/xU0wWqZxuA
Massive Technologiesは、ミュージシャン、ソフトウェア開発者、3Dアーティストを兼任するFayez Salka氏と、ソフトウェア開発者兼3DアーティストのAnas Wattar氏が設立したテック企業。機械学習アルゴリズムや3Dモーション合成技術などを開発している。以前からピアノ演奏をテーマとしたAR/VRおよびAI関連技術のデモ映像を公開しており、今回公開された映像は、楽譜からモーションを起こす「AI Pianist」による映像とみられる。
また同社では画像からピアノの位置と方向を推定するモデルも保有しており、2020年11月には、この推定モデルを応用したピアノ演奏学習アプリ「AR Pianist」を公開している。AR Pianistは、現実のピアノに向けてスマートフォンをかざすと、画面内にピアニストの3Dモデルが現れ、画面に映ったピアノを演奏する内容。現実のピアノに重ねて押すべき鍵盤の情報を表示し、演奏の巻き戻し/早送りや演奏速度のスローダウンを行なって運指を確認できる。