ニュース

写真1枚から“裏側まで”3D化するAI「Idol」無償公開、VRAM10GBでも動く

 手元の写真1枚が、写っていない裏側まで備えた3Dモデルに変わる。Speridlabsは10月30日(日本時間)、画像1枚から3Dオブジェクトを生成するAIモデル「Idol」を発表した。オープンウェイト(モデルの重み)はApache License 2.0のもとHugging Faceで無償公開され、商用利用も認められる。消費するVRAMは最大7.2GBで、GeForce RTX 3080(10GB)のようなコンシューマ向けGPUでも動く。

 Idolは、物体が写った1枚の画像から、立体を大量の色付きの点で表現する「3Dガウシアンスプラッティング(3DGS)」形式のデータを生成するAIモデルだ。写真のほか、レンダリング画像や画像生成AIの出力も入力でき、背景の除去から立体の生成までを自動で行なう。生成する点(ガウシアン)の数は3万2,768個から104万8,576個の範囲で指定できる。出力は標準的な.plyファイルのため、一般の3DGSビューアでそのまま開ける。

 Idol本体の重み(約3GB)はHugging Faceから、推論用のコードはGitHubから入手できる。ブラウザから試せるデモもHugging Face Spacesで公開されている。標準設定(26万2,144個・50ステップ)の生成時間は、データセンター向けGPUのH100で6.7秒、GeForce RTX 4090で19.1秒だった。メモリ10GBのGeForce RTX 3080でも、46.2秒で1枚を変換できたと公式ページは説明している。

 その本体は、拡散モデルをTransformerで構成する「DiT(Diffusion Transformer)」を3D生成に転用した、パラメータ数0.66B(6.6億)のモデルだ。ノイズを段階的に取り除いて立体を仕上げる「デノイジング」の工程を50ステップ繰り返し、画像に写っていない側面も推定して補完する。画像の読み取りにはMetaの「DINOv3」とBlack Forest Labsの「FLUX.2」のVAE(画像の圧縮・復元を担う部分)を利用する。これらを含めた全体の規模は1.8B(18億)だ。

 入力画像の種類に応じた2つのモードも備える。CGや生成画像には「synthetic」、実物の写真には「real」を指定する仕組みで、被写体を切り抜く際の余白が変わる。筆者が試した範囲では、立体感のある写真からの生成は良好だった一方、立体感のない画像からは破綻し、写真に写っていない部分には若干の手直しが必要だった。

 Idol本体はApache License 2.0で自由に利用できるが、画像の読み取りを担うDINOv3とFLUX.2-devは、Hugging Face上で利用承認が必要な「ゲート付きモデル」だ。動かすには、両モデルの規約に同意したうえでHugging Faceアカウントでログインしておく必要がある。