VRAM消費60%減の衝撃。App ModeとGeForce RTXでComfyUIがさらに身近に

　ローカル生成AIの定番ツールである「ComfyUI」に、ノードグラフ不要の「App Mode」が3月に導入された。また、それに先立ってNVIDIAは1月に、ComfyUIでNVFP4を利用可能にし、GeForce RTXで動作させる際のVRAM消費を最大60%削減しつつ、従来比2.5倍の速度で生成できるようになったことを発表した。

　画像生成AIを自分のPCで自由に使ってみたい。それには「ComfyUI」が便利って聞くけど複雑な条件分岐の画面を見ると「難しそう」と思ったり、そもそも「自分のPCのGPUで動くのか」と疑問に思っている人も多いはずだ。しかし、このApp ModeとNVIDIAの新技術により、ComfyUI利用の障壁が大幅に下がった。これを機にComfyUIに挑戦してみようと思う人も増えているだろう。

　そこで本記事では、ComfyUIの概要と導入手順を解説しながら、GeForce RTXを使うことで何がどう変わるかを具体的な数字と機能で紹介する。

ComfyUIとは何か？なぜ今注目されているのか？

　ComfyUIは、自分のPCで画像や動画を生成できるツール。Stable Diffusion系などさまざまなモデルをローカル環境に組み込み、細かな条件を含めた“ノード”を複数つなぐことで処理を組める自由度の高さが魅力だ。複雑な処理を自在に組めるため、目的に合った画像や動画を生成しやすく、研究者やクリエイターに支持されてきた。

　その一方で多数の条件と線が絡み合うノードは初心者には「難しそう」という印象が強く、利用をためらう人がいるのも事実だ。

ノードをつないで複雑な生成処理を行なえるComfyUI

　そこで登場したのが3月に発表された「App Mode」。このモードではノードをシンプルなインターフェイスに変換し、多くの人が慣れているプロンプト入力をして出力ボタンを押すだけで生成ができるようになった。

　といっても、App Modeで動かすためには既存のノードからアプリの作成が必要になる。この機能はアプリビルダーモードと呼ばれ、入力と出力を決めるだけと簡単ではあるが、これまた初心者にはちょっと難しく感じるだろう。

　ただし、心配は無用でテンプレートとして最初からApp Modeに対応したものが用意されているので、すぐに生成を試すことも可能だ。App Modeはまだベータの段階。ここは今後テンプレートの充実を期待したいところだ。

ComfyUIにおける画像生成のワークフロー。これはシンプルなものだが、初心者には何が行なわれているのか判断しにくい

画面左上のアイコンからApp Modeに切り替えられる。App Mode(画面右側)にすれば、プロンプトを入力して実行するだけに。作ったワークフローを誰でも使いやすく変換できるのがApp Modeだ

ローカル生成AIを動かすのに何が必要か？

　そもそもローカル(手元のPC)での生成AIは環境構築が大変そうというイメージを持つ人もいるだろう。その点、ComfyUIのデスクトップ版はPythonなど手間のかかるツールのインストールや初期設定を自動化してくれるため、環境構築でつまずきにくいのが大きな強みだ。

　ComfyUIのデスクトップ版はWindowsとmacOS向けが用意されている。ここではWindows向けを紹介する。GPUはNVIDIAのGeForce RTXシリーズが推奨されている。SD1.5など軽量の画像生成モデルでもVRAM 8GBが必要になるため、8GBが最低ラインになっている。SDXLなど高品質モデルや動画生成を行なうなら12GB以上が必要と思っておこう。ストレージはSSDが推奨されている。

　ComfyUIでなぜNVIDIAのGeForce RTXシリーズが推奨されているのか？理由はシンプルで、ほとんどの生成AIがNVIDIAが提供しているGPU向け並列計算プラットフォーム「CUDA」を利用することを前提に開発されているからだ。AMDのRadeonなどほかのGPUよりも安定、高速に動作することが多い。また、GeForce RTXシリーズは、AIの計算に特化したTensorコアも備えており、消費電力を抑えつつAI処理を行なえるほか、前述したComfyUIでのNVFP4サポートも大きな強みだ。

ComfyUIのインストールから初回生成まで

　ここからは、Windows 11にデスクトップ版ComfyUIを導入する手順から画像生成までの流れを紹介する。専用のインストーラーが用意され、画像生成についてもテンプレートがあるため最初の一歩を踏み出しやすくなっている。

まずComfyUIの公式サイトにアクセスして「Download ComfyUI」をクリック

「Download for Windows」をクリックしてインストール用ファイルをダウンロードする

ダウンロードしたファイルを実行するとセットアップウィザードが表示されるので「インストール」をクリック

インストールが終了したら「完了」をクリック。これでComfyUIが起動する

Gitのインストールが求められるので「Open git downloads page」をクリック

ブラウザが起動してGitのWebサイトが表示されたら「Windows」をクリック

「Click here to download」をクリックしてインストール用ファイルをダウンロード

ダウンロードしたファイルを実行してセットアップウィザードを起動し、ライセンス内容を確認して「Next」をクリック

インストール先などの指定が行なわれるが、基本的には「Next」をクリックして進めていけばOK

この画面ではGitの設定を書き換えるエディタを指定するもの。プルダウンメニューを開いて自分が使っているものに変更する。メモ帳なら「Use Notepad as Git's default editor」だ。選択したら「Next」をクリック

ここからはまた基本的には「Next」をクリックしておけばOK

最後にこの画面となるので「Install」をクリック

インストールが完了したら「View Release Notes」のチェックを外して「Finish」をクリック

ComfyUIのセットアップ画面に戻って「Get Started」をクリックする

使用するハードウェアを選択。今回はGeForce RTXシリーズを使うので「NVIDIA CUDA」を選択して「Next」をクリック

AIモデルなどを保存するフォルダを指定する画面になる。標準ではドキュメントフォルダに「ComfyUI」フォルダを作成する。この状態では起動しないこともあるのでフォルダの形状をしたアイコンをクリック

今回はCドライブの直下に「ComfyUI」フォルダを作成して「Next」をクリック

自動アップデートとデータ収集の有無を決める画面になる。今回はデフォルトの有効のままで「Install」をクリック

テンプレート画面が表示されたら、インストールは問題なく完了だ。まずは「はじめに」をクリックして試してみよう

画像生成のチュートリアルといえる「テキストから画像へ(新)」をクリック

ワークフローの実行に必要なモデルのダウンロード画面が表示されるので「すべてダウンロード」をクリック

ダウンロードが終了するのを待つ。進行状況は左側メニューの上から4番目のモデルアイコンをクリックすれば確認可能だ

ダウンロードの完了後、右上の「実行する」をクリックすると画像生成がスタート。「画像を保存」に生成された画像が表示される

生成された画像はアセットに登録されるので、右クリックメニューを開き「ダウンロード」を選択すれば好きなフォルダに保存が可能だ

　ここまでが導入から1枚画像を生成するまでの手順だ。次は、モデルを変更しての画像生成手順も紹介しよう。

　ここではGeForce RTX 50シリーズから対応したNVFP4 (4-bit浮動小数点) のモデル(FLUX.2-klein-9b-nvfp4)を導入してみる。NVFP4はVRAM使用量が少なく、高速に画像生成が行なえるためだ。モデルの変更をしやすいワークフローもテンプレートに存在しているのでそれほど難しくはない。

　なお、ここで紹介するテンプレートの動作に必要なモデルやNVFP4のモデルは、Hugging FaceのWebサイトからダウンロードが必要だ。あらかじめHugging Faceのアカウントを作っておこう。また、GeForce RTX 50シリーズでNVFP4を十分に活かすためには最新版ドライバへのアップデートが必要。合わせて行なおう。

テンプレートから「Flux.2[Klein]9B:テキストから画像」を選択する

不足するモデルのダウンロード画面が表示。その一部に「利用規約に同意する」とあるのでクリック

Hugging FaceのWebサイトにアクセスするのでライセンスに関する認証が表示されたら「Agree and access repository」をクリック

「Files and versions」をクリックして必要なモデルをダウンロードする(ここではFLUX.2-klein-base-9b-fp8.safetensors)。同じ流れでFLUX.2-klein-9b-fp8.safetensorsもダウンロードする

同じくHugging FaceからFLUX.2-klein-9b-nvfp4と検索して「FLUX.2-klein-9b-nvfp4.safetensors」をダウンロードする

ダウンロードしたモデルをComfyUIのインストールフォルダ(今回の場合はCドライブ直下のComfyUIフォルダ)→「models」フォルダにある「diffusion_models」フォルダに移動する

ComfyUIに戻ってダウンロードをスタート。同意が必要なモデルはキャンセル扱いになるが気にせず、ダウンロードが終わったらComfyUIを再起動する

「diffusion_models」フォルダに入れたモデルが認識されるので、テンプレートのワークフローから「Text to Image」を選択して右上のアイコンからプロパティパネルを表示。拡散モデルを読み込むの欄のプルダウンメニューを開き「FLUX.2-klein-9b-nvfp4.safetensors」を選択

実行ボタンを押せば、NVFP4を活用した画像生成を試せる

　なお、通常のFLUX.2-klein-9b-fp8.safetensorsと同じワークフローで生成した場合の速度にどの程度差があるのか気になる人もいるだろう。今回、GeForce RTX 5080の環境でテストしたところ、FLUX.2-klein-9b-nvfp4.safetensors(NVFP4)では11.72秒で、FLUX.2-klein-9b-fp8.safetensors(FP8)は19.33秒で完了。つまり、前者は約1.6倍も高速に終了した。

GeForce RTXが生成AIで速い理由——Tensor CoreとNVFP4の仕組み

　GeForce RTXシリーズがなぜ生成AIに強いのか。基本的にはCUDAコアとTensor Coreの合わせ技がその理由だ。CUDAコアは色の調整、データの並び替え、単純な足し算など汎用的な計算を得意とする。一方のTensor CoreはAIでよく使われる複雑な行列演算に特化。CUDAコアでも行列演算はできるが、Tensor Coreを使った方が圧倒的に速く、それぞれ足りない部分を補っている形だ。

　Tensor CoreはAIの演算能力を引き上げるべく導入され、今ではゲーム分野だけみてもDLSSによるアップスケーラーやフレーム生成などに活用される欠かせない技術となっている。

2018年の古い資料だが、一番左がTensor Coreを搭載しないPascal(GTX 10シリーズ)。それに比べてTensor Coreを備えたTuring世代では行列演算をはるかに高速に行なえるのが分かる

　このTensor Coreは、GeForce RTX 30シリーズから飛躍的に性能が向上。この頃から生成AIブームが起きていることからもそれを裏付けている。そして、最新のGeForce RTX 50シリーズではNVFP4形式をTensor Coreで直接処理できるようになり、はるかに少ないVRAMで生成AIを動かせるようになった。

　GeForce RTXシリーズが対応する精度形式とそれによるVRAM使用量を以下の表にまとめた。

※ComfyUI側で処理の実行自体は可能だが、Tensor Coreによる高速化には非対応

　GeForce RTX 50シリーズではNVFP4に対応したことで高速化も実現。NVIDIAによると、LTX-2およびFLUX.2 Klein 9Bの生成AIモデル性能についてFP16(フル精度)に比べて2倍以上高速化するとしている。

NVIDIAブログより。RTX 5090におけるLTX-2および FLUX.2 Klein 9Bの生成AIモデル性能についてLTX-2: 解像度 512×768、100フレーム、20ステップ。FLUX.2 Klein 9B(ベースモデル): 解像度1024×1024、20ステップ

　NVFP4は、LTX-2.3やFLUX-2、Z-Image、Qwen-Imageといった人気のモデルでの採用が進んでおり、コミュニティによる量子化も活発。GeForce RTX 50シリーズの将来性は高い。もちろん、今はFP8対応モデルが多いため、GeForce RTX 40シリーズもまだまだ現役として活躍できる。

RTX Video Super Resolutionで生成動画を4Kに高速アップスケール

　3月に発表されたComfyUIのもう1つの大型アップデートとして、「RTX Video Super Resolution」(VSR)のノード提供がある。VSRは、GeForce RTXシリーズのTensor Coreを活用して動画の画質と解像度をアップさせる技術で、2023年から存在している。YouTubeなどWebブラウザで再生した動画に対して適用できるので、意識せず使ったことがある人も多いはず。

　それがノードとして提供されたことでComfyUIのワークフローへと簡単に組み込めるようになった。カスタムノードマネージャーからインストールが可能で導入もお手軽だ。

　最大の特徴は、従来の代表的なローカルアップスケーラーと比べて30倍高速(NVIDIA公表値)、かつVRAM消費も大幅に少ないこと。ローカルでの動画生成は非常に高いマシンパワー、大容量のVRAMなどが必要であるため高解像度の長時間動画を出力するのは困難。低解像度で出力したものをアップスケールすることが多い。そのアップスケールも時間がかかるものだが、VSRなら非常に短時間で済ませることができる。

カスタムノードマネージャーからRTX Video Super Resolutionのノードがダウンロード可能だ

これがノード。scale(倍率)とquality(画質)を設定するだけと使い方も簡単だ。ワークフローへと手軽に組み込める

　実際にGeForce RTX 5080環境で、1,280×720ドットで5秒の動画を4K(scale: 3.00、quality: ULTRA設定)にアップスケールする簡単なワークフローを作ったところ、わずか13.43秒で完了できた。これなら720pで出力された動画を、現実的な処理時間で4Kへと高画質化できる。

GeForce RTX 5080搭載機で1,280×720ドットから4Kへのアップスケールは13.43秒だった

GeForce RTXのどのモデルを選ぶべきか——VRAM別・用途別の指針

　ここまでComfyUIの使い方と、GeForce RTX 50シリーズから対応のNVFP4によって使用VRAMの大幅な削減とさらなる高速化が可能であることを解説してきた。では、どのGPUを購入すればよいのか。それぞれできることの目安をまとめた。

　GeForce RTX 5090はあらゆる用途に対応できるハイエンドモデルで、ビジネスとして本格的な動画制作を視野に入れる場合に適した選択肢だ。より手軽に始めたい場合には、価格と性能のバランスに優れたVRAMが16GBのGeForce RTX 5070 Tiも有力な選択肢となる。

　静止画の生成がメインならVRAMが12GBのGeForce RTX 5070や、処理性能は上位モデルには及ばないがVRAM 16GBモデルを用意しているGeForce RTX 5060 Tiが適している。

　GeForce RTX 40シリーズも十分現役だが、これからのことを考えるとNVFP4の恩恵を最大限受けられるGeForce RTX 50シリーズがオススメだ。ComfyUIでぜひとも生成AIの世界にチャレンジしてみてほしい。