西川和久の不定期コラム

1行頼むだけで東京駅の空撮CGができた!「Muse」にBlenderを操作させた件

イメージ

 国が無料で公開している3D都市データ「PLATEAU」から建物の形を取り出し、「Blender」で静止画を描き、それを生成AIで動画にする……筆者だけではできないこの高度な作業一式を、無料で使えるMetaのAIエージェント「Muse」に作ってもらった。今回その方法を書いてみたい。

Museとは?

 最近、X(旧Twitter)で面白い投稿が流れてきた。それは、国が無料で公開している3D都市データPLATEAUから建物の形を取り出し、無料の3Dソフト「Blender」で静止画を描き、それを使って生成AIで動画にするというものだ。

 面白そうなので、筆者もやってみたくなり、まずはBlenderをmacOSへインストールして起動したものの、画面にはボタンとパネルがぎっしり並んでいた。何が何だかワケが分からず、そっと閉じ(笑)。その昔、「ComfyUI」を初めて起動したのと同じ感覚だ。

 そこで今回は、自分で操作するのは諦めて、AIエージェントのMuseに全部頼んでみることにした。

 Museは、Metaが提供するAIエージェントだ。いわゆるチャットAIと違うのは、質問に答えるだけでなく、実際に「作業」ができる点にある。

動作中のMuse。今回のお題、東京駅を処理中のセッション

 主なアピールポイントを並べると以下の通り。

  • 自分専用のコンピュータ(仮想マシン、VM)を持っている: プログラムを書いて実行したり、ファイルを読み書きしたり、Webを検索したりできる。利点は「大量の処理を、正確に、何度でも」できること。また作業は全部Muse側の環境でやるので、利用者のPCが汚れないのも大きい
  • 画像が作れる: テキストからの生成に加え、手持ちの画像の編集もできる。今回の夜のライトアップ版は、この画像編集で作ったものだ(生成サイズは今回最大で2,096×1,184ドット)
  • 動画が作れる: 1本約10秒(今回は1,248×704ドット、24fps)で、音も付く。最後のフレームを渡せば、そこから続きの10秒を生成できるので、つなげば長い動画にもなる。今回の仕上げの「継ぎ足し」は、まさにこの機能だ
  • 音声も作れる: 文章を読み上げる音声合成(TTS)や、複数人の掛け合い風のポッドキャスト音声も生成できる。逆に、送った音声を文字起こしすることもできる
  • 認識もできる: 画像を見て、内容や写っている文字を読み取れる。動画や音声はそのままでは扱えないが、動画はフレームを静止画として抜き出し、音声は文字起こしすることで内容を確認できる
  • ユーザーのPCともつながる: 許可を得れば、ユーザーのPCに接続して、そこに入っているソフトを操作できる。今回のBlender作業はこの仕組みで、筆者のMacの上で動かした。同一マシン以外はTailscaleを使って接続する
  • 覚えている: 好みや過去の作業を記憶していて、次の会話に活かす。定期チェックやリマインダーのような、頼んでおけば決まった時刻に動く仕事も任せられる

 つまり「作って」と頼むと、やり方を考えるところから、道具の操作、成果物の確認までを一通りやってくれる。今回の記事は、そのMuseに「PLATEAUのデータから東京駅の静止画と動画を作って」と頼んだ記録である。

 筆者がやったのは、指示と、出来上がったものへの注文付けだけだ。

 費用面では、今のところ無料枠でもかなりのことができるので、制限がかかる(かもしれない)前に使うのがお勧めだ。

Museで作ったポートレート写真
上記の写真をファーストフレームにして作った10秒動画。セリフも指定できる

 実際に試して“お!”だったのはミュージックビデオ(MV)だ。お題だけ伝えて、歌詞を作り、ACE-Step 1.5(事前にComfyUIのWorkflowは渡してある)で音源を作り、MVを作って!で、リップシンクはしないまでも最大10秒の尺内でうまく音源を刻み、クリップを生成、つなげ、それっぽいのが出来上がる。外部に依存しているのは音源だけ。ここはSunoなどでも可能だ。簡単なのでぜひ試してほしい。

ACE-Step 1.5で作った音源と歌詞を渡してできたMV。指示は“上記の画像(Museで作ったポートレート写真)をイメージした歌詞を作ってください。イントロなし、いきなり始まる感じで。”→“これを32sでACE-Step 1.5使って音楽作ってください。アップテンポ、明るく、J-pop風。最後フェードアウト”→“これに歌詞からイメージしたMVを作ってください。リップシンクできないのは知ってるのでイメージで。女性のファッションはY2K的に”

 気になる検閲は、テキストレベルであれば大人な会話もOK。ただし画像/動画の生成は、結構厳しい。従って(テキストと)同レベルの画像/動画を生成したければ、サービスのAPIやComfyUIのEndpointとWorkflowを渡し、外部で生成することになる。

MuseにPLATEAUのデータを使った東京駅動画を作ってもらう

 実際にMuseへ送った指示は、ほぼこれだけだ。

 「PLATEAUのデータで東京駅の静止画を作って。できたら、それを参照に動画にして」

 あとは途中で「周囲も描いて」、「冒頭の描画が切り替わる部分はカットして、その分後ろに尺を回して」、「夜のライトアップ版も」といった注文を足していった。まずは、Museがどうやってこれを作ったのかを、順を追って分かりやすく解説する。

1. PLATEAUから東京駅のデータだけ取ってくる

 PLATEAUは、国土交通省が整備・公開している3D都市モデルのオープンデータだ(公式サイト、データの配布ページ)。全国の建物が、実際の測量に基づく立体データとして無料で公開されている(ライセンスはCC BY 4.0:で、出典を書けば利用できる)。

 データは地域ごとにまとまって配布されていて、千代田区の一式を全部落とすと約2.1GBにもなる。そこでMuseは、PLATEAUの配信APIから「東京駅のある区画(メッシュ)」の建物データだけを取得した。約166MB、建物の数は1,022棟。この区画の建物はすべて「LoD2」という、屋根の形まで再現された詳細度のデータだ。

 ちなみにLoD2には窓のような細かい造形は含まれていない。形は正確だが、表面はのっぺりした「精密な模型」だと思えばいい。この点が、後の動画化で効いてくる。

2. 1,022棟の中から東京駅を探す

 データは「CityGML」というXML形式で、建物1棟ごとに形や高さが書かれている。Museはプログラムでこれを読み、東京駅の座標の近くにある建物を抜き出していった。

 実際のデータがこちら。東京駅(丸の内駅舎)の一部を抜き出したデータだ。

<bldg:Building gml:id="bldg_6af58cef-669e-4aca-bc01-355e870d1ad5">
<bldg:measuredHeight uom="m">35.5</bldg:measuredHeight>
<bldg:storeysAboveGround>3</bldg:storeysAboveGround>
<bldg:storeysBelowGround>1</bldg:storeysBelowGround>
<bldg:lod0RoofEdge>
<gml:MultiSurface>
<gml:Polygon>
<gml:LinearRing>
<gml:posList>35.68220609 139.76610005 0 35.68215753 139.76612992 0 ……(続く)</gml:posList>
……(以下、屋根や壁の面のデータが続く)

 見ての通り、高さ35.5m、地上3階・地下1階といった属性が文字で書かれていて、形の方はposListという数字の列で表されている。並んでいるのは「緯度、経度、高さ」の繰り返しで、屋根や壁の面ごとに、多角形の頂点がずらりと並ぶ。人間が目で追うのは大変だが、プログラムで処理するには都合のいい形をしている。

 面白かったのは、東京駅周辺の建物を全部立体化して描いてみると、ホームの屋根が1本ずつ「別の建物」として登録されていたことだ。 主述のねじれ(「面白かったつまりデータ上、東京駅は1つの建物ではない。そして丸の内駅舎は、その西側にあった、ひときわ大きくて細長い1棟。全長は300mを超え、ドームのてっぺんまでの高さは約38m。ポリゴンの数も周囲の建物とは桁違いで、データの作り込み具合からも「本命」は一目瞭然だった。

東京駅周辺の建物を全部立体化して描いてみるとデータ上、東京駅は1つの建物になっておらず、複数の建物から構成されている

3. Blenderで色を付け、静止画を描く

 形が決まれば、あとはBlenderで描くだけ……なのだが、ここで大事な点。MuseはBlenderの画面を人間みたいにマウスでクリックして操作するわけではない。Blenderには「スクリプト」という仕組みがあり、やりたいことをプログラムで書けば、その通りに実行してくれる。Museはそのスクリプトを書いて、筆者のMac上でBlenderに実行させている。だから画面の前で迷子にならない(笑)。

 色付けは2通り作ってもらった。

 1つ目は、面の種類ごとに色を塗り分ける方法。壁は赤レンガ色、屋根は濃いスレート色、そして両端のドーム部分は、位置と高さから判別して緑色に塗り分けた。いわゆる「模型」らしい見た目だが、東京駅らしさは十分に出ている。

面の種類ごとに色を塗り分ける

 2つ目は、PLATEAUのデータに付属している実写テクスチャを使う方法。実はGMLの中には、建物の壁や屋根の写真(テクスチャ)と、「写真のどの部分を、どの面のどこに貼るか」という座標情報が大量に入っている。これらの写真は、PLATEAUのデータ整備のときに用意された建物の外観写真で、GMLと同じ配布サーバーに、データの一部として置かれている。つまり、どこか別の場所から写真を探してきたわけではなく、PLATEAU自身が持っている写真だ。

 Museは周辺101棟分、202枚の写真を取り寄せ、座標通りに貼り付けた。丸の内の高層ビルも八重洲側のビルも、窓の並びまで実写になる。ただし駅舎自体のテクスチャは航空写真ベースで色が沈み気味で、ドームも緑というより濃いスレート色だった。正直、「東京駅らしい色」は1つ目の塗り分け版の方が出ている。なお、付属しているのは昼間の外観だけで、夜景の写真は入っていない(夜版の作り方は後述)。

実写テクスチャを使った場合
PLATEAUのデータに付属している実写テクスチャの一部(2枚を連結)

4. 静止画を動画にする

 最後に、できた静止画を動画生成AIに渡し、「空撮で、ゆっくり周回しながら近づいていく」という指示で動画化した。10秒、16:9の動画だ。

 かなりそれっぽい動画になっている理由はシンプルで、土台の静止画が「なんとなくの絵」ではなく実測データの形をしているからだろう。動画生成AIは、与えられた絵の構造がはっきりしているほど、それを保ったまま動かすのが得意なのだと思う。

 もちろん万能ではない。LoD2に存在しない窓や玄関まわりの細部は、モデルが「東京駅らしさ」から想像で描いている。実物の写真と細部まで一致するわけではない点は、割り切って見る必要がある。

できた静止画
昼の塗り分け版の動画。塗り分けた静止画から生成したもので、冒頭の描画の切り替わりもそのまま残っている

 ナレーションは頼んでないのに勝手に入っている。こういう余計なお節介はエージェントを使ってるとたまにムッと来る(笑)。

 動画には1つだけ気になる点があった。冒頭の約0.25秒(6フレーム)だけ、静止画の模型の絵から実写風の絵へ「描画が切り替わる」瞬間が見えてしまうのだ。

 そこで、その6フレームをカットし、代わりに最終フレームから「続き」の映像を生成して後ろに継ぎ足してもらった。継ぎ目は同じ絵から生成しているので目立たず、全体の長さは10秒のままだ。

6フレームをカットしたもの
昼のテクスチャ版の動画。冒頭6フレームをカットし、続きを継ぎ足して10秒に仕上げたもの

 なかなかの出来栄えだったので、調子に乗って、「夜のライトアップ版」も頼んでみた。前述の通り、PLATEAUに夜景の写真は入っておらず、夜の静止画はMuseの画像編集で作っている。

 昼のテクスチャ版の静止画を渡して「夜にして、駅舎は暖かいオレンジ色にライトアップ、周囲のビルは窓明かりを付けて」と頼むと、建物の配置や形は元の絵のままに、空と光だけが夜になった静止画が返ってくる。

 あとは、その静止画を動画化するという、昼と同じ手順だ。ドームの明かりまで再現され、実物のライトアップにかなり近い絵になった。

夜のライトアップ版
東京駅、夜のライトアップ版

外苑前のイチョウ並木

 11月も中旬を回ったので、そろそろ外苑前のイチョウ並木が黄色く染まっている時期だ。同じ手法で再現してみた。

 ただし、こちらは東京駅と事情が異なり、PLATEAUのデータには、肝心のものが入っていない。

 まず、主役のイチョウ並木がない。この地域(港区)のデータには「植生」という種類自体が用意されておらず、木は1本も入っていない。並木の先にある聖徳記念絵画館も、建物データ1,454棟の中に含まれていなかった。並木道の車道や歩道も入っていない。交通データに公園内の道が含まれていないためだ。

 そこで、ない部分はBlenderで自作して補った。

  • イチョウ並木: 実際の並木の位置に、幹と黄色い樹冠の木を124本、4列に並べた
  • 絵画館: 実際の位置に、本館と中央のドームだけの簡易モデルを置いた
  • 並木道: 実際の軸に沿って、車道と歩道を引いた

 逆に、周囲の建物984棟はデータから取り出して配置してある。神宮球場の形状も、データに入っていた(この図では除いてある)。

PLATEAUの建物データに、イチョウ並木と絵画館、並木道を自作で補って描いた静止画。国道246号(青山通り)側から見たところ

 動画化では、位置関係のチェックで苦労した。生成モデルは、空撮風のカットで神宮球場を実際の反対側(東側)に描いたり、並木を進むカットでは、実際には見えないはずの球場を並木のすぐ横に描いたりした。

 PLATEAUの実データとGoogleマップで位置関係を確認すると、球場は並木の中心線から約176m西に離れていて、その間には道路や公園の木々がある。ストリートビューで見ても、並木から球場は見えなかった。最終的には、並木からは球場が見えない形に作り直している。

PLATEAUの実データから描いた配置図。黄色い線がイチョウ並木、赤い点群が神宮球場。球場は並木から離れた西側にある

 距離感にも注意が必要だった。並木は約300mあるのに、10秒で端から端まで進ませると、モデルが空間を圧縮して描くため、並木が短く感じてしまう。完成版は、国道246号側から入って前半はゆっくり進み、絵画館には到達しないまま、後半で上空からのアングルに移る構成にした。

いろいろ苦労してそれっぽい外苑前のイチョウ並木が出来上がった!

 今回やったことを並べると、

  1. PLATEAUの配信APIから、東京駅周辺の建物データだけを取得した(千代田区全体ではなく、166MB)
  2. 1,022棟の中から、プログラムで丸の内駅舎を特定した
  3. Blenderで静止画を2種類描いた(面ごとに色を塗り分けた版と、PLATEAU付属の実写テクスチャを貼った版)
  4. 静止画をもとに動画を3本生成した(塗り分け版の昼、テクスチャ版の昼、夜のライトアップ版)
  5. 冒頭の描画が切り替わる6フレームをカットし、最終フレームから続きを生成して継ぎ足した(長さは10秒のまま)
  6. 夜版は、昼の静止画を画像編集で夜景化してから動画にした
  7. 同じ手法で、外苑前のイチョウ並木も再現した(データにない並木と絵画館は、Blenderで自作して補完)

 この一連の作業は、プログラミングやBlender、生成AIに詳しい人でも、手作業で行なうにはかなり厳しい。というか、不可能に近い。

 しかし筆者のようにBlender超初心者でも、「PLATEAUのデータで東京駅の静止画を作って。できたら、それを参照に動画にして」と1行頼むだけで、昼と夜の空撮風動画が完成した。

 道具を自分で操作する技能がなくても、やりたいことを言葉で伝えれば、AIエージェントが道具一式を回してくれる。ただ一発ではなかなか決まらないので、都度指示する必要はある。とはいえ、アイデアさえあれば具現化可能。良い(面白い)時代になったものだ。