西川和久の不定期コラム
VRAM倍増の24GB計画！……その結果！？
2023年8月24日 06:12
現在、VRAM 12GBのGeForce RTX 4070 Tiを使っているが、Stable DiffusionをするにしてもLLMをするにしてもVRAM容量がもっと欲しい。この上となると一般向けでは16GBか24GB。そこで24GB目指した奮闘記? をお届けしたい。
VRAM 24GB目指した奮闘記!?
普通に考えればここで「?」が付くだろうか。というのも、大容量電源と大きい箱で動作中のPCがあれば、後はGPUを入れるだけOKだからだ。特に“奮闘”することもなく普通のパーツ交換となる。
ところが筆者の場合、ミニPC+Thunderbolt経由のGPUボックスというパターンなので、これができないのだ。もちろん、それ相当のPCを組んだ上で……が最もふさわしい解なのだろうが、そうすると一気に費用も跳ね上がる。従ってこのケースでVRAM 24GBにできる方法は以下の2パターンに限られる。
- 使用しているAKiTiO Node Titanで扱えるGPUを探す
- AKiTiO Node Titan以上のGPUボックスを探し、それに入れる
前者の仕様は幅2.5レーン、電源650W、8ピン×2という制限があり、これにドンピシャハマるVRAM 24GBを搭載したGPUはRTX A5000のみ。中古でも20万円前後。ただコア数や世代を考えるとおそらくGeForce RTX 4070 Tiよりかなり遅い。
ちょうど後継に相当する最新鋭NVIDIA RTX 5000 Ada(32GB)の国内価格が出たが、4,000ドルが76万5,800円。その下にNVIDIA RTX 4500 Ada(24GB)もあるのだが、入って使えると言っても2,250ドルなのでこのレートだと手が出ない(43万円前後?)。
とすると、残るのはGeForce RTX 3090かGeForce RTX 4090。価格や性能の差はもちろんとして、外見的な違いだと、幅と8ピンの数。前者は2.5レーン版もあり、8ピン×3。後者は3レーンで8ピン×4(相当)。どちらにしてもAKiTiO Node Titanはアウトだ。
そこでGPUボックスで何かいいものはないかと、Amazonを検索したところ面白いのを見つけた。
Thunderbolt接続GPUボックスキット!
完成版のGPUボックスはいろいろ検索したものの、大きさはともかくとして電源が8ピン×2まで。つまりGeForce RTX 3090やGeForce RTX 4090はボックスに入ったとしても動かせない。
そんな中、目に止まったのがこのキットだ。内容的には、ThunderboltからPCIe×16への変換ボード、加えてPD対応のType-CとUSB 3.0がボードから出ており、電源ユニットは別(基板と共に固定するパネル付き)。つまり、いくらでも大容量なものを使うことができる。
(ほかのショップの同一製品)レビューを見るとGeForce RTX 4090を実際使っている人もいて、まさに欲しかったのはこれだ! と早速注文。数日後届いたので、組み立ててみた。
作動確認は、とりあえず転がっていたGeForce GT 1030(2GB)を使用。電源をオンにして、PCに接続してみると……何も反応しない。ボード脇にあるPower LEDは点灯、Thunderboltケーブルを挿すとLED点灯、USB PD電源までは動いているが、肝心のPC側がThnderbolt接続を認識しない(従ってUSB 3.0も使えない)。
試しにMacBook 12とMacBook 14 Proにも接続してみたが無反応(macOSの場合、接続したデバイスによっては使えないケースもあるが、取りあえず接続したまでのメッセージは出る)。つまり、動かない(初期不良で故障している)のだ。用意した電源500Wと1,000W、どちらにしても結果は変わらず。
動けばある意味、必殺技だっただけに非常に残念な結果となった。たまたまハズレだったのだろうか。これが動けば次はGeForce RTX 4090、そして「やったー!」的な記事をと思っていたのだが……。
次なる手は……禁断の8ピン二股
手持ちのAKiTiO Node Titan、もう一度仕様を見直すと、先に挙げた通り、幅2.5レーン、電源650W、8ピン×2。このGPUボックスはハブ的な機能はなく、パワーのほとんどはGPUへ供給可能だ。
従って、GeForce RTX 3090の8ピン×3の場合、8ピン1つ150Wなので最大450W。ネットで調べたところのGeForce RTX 3090はおおよそ350Wということらしい。8ピン×3でギリギリならともかく、8ピン×2の300W+50W程度なら、8ピンの二股を使い、8ピン×3としても電源ユニット的には問題なさそうだ。
後は8ピン側に出力リミッター的なものがなければ、“記事的には決して褒められた内容ではない”ものの、電気的にはいける……よね? となる。
編集担当に相談したところ「多分(笑)大丈夫」という話しだったので、2.5幅のGeForce RTX 3090を送って頂いた。製品的には「Colorful iGame GeForce RTX 3090 Vulcan OC」。ゲーミングPC用にいろいろギミック満載なのだが、GPUボックスへ入れるためあまり意味なかったりするが、GeForce RTX 3090には変わりない。
早速GPUボックスからGeForce RTX 4070 Tiを外してGeForce RTX 3090を装着。GPUボックス側の電源オン。そしてThunderboltケーブルを接続。緊張する瞬間だ。
タスクマネージャーに2つ目のGPUが表示され、ほっと一安心と言ったところ。この状態で少し試したが、GeForce RTX 4070 Tiの時よりGPUの温度が低め。連続生成でファンが盛大に回りだせば気になるのは同じだが、ちょい使い程度だと静かと言えば静かだ。
気になる速度は、以前試した512×768：神里綾華ベンチマークだと以下のような結果となった。GeForce RTX 4070 Tiとほぼ互角(気持ち遅め)。1世代古いアーキテクチャなので予想はしていたものの、逆にGeForce RTX 4070 Ti恐るべし……っといったところか。
- M1 Pro 1.45(it)/304秒(10枚)
- Colab/標準(T4) 2.99(it)/66秒(10枚)
- Colab Pro/プレミアム(A100) 6.24(it)/32秒(10枚)
- GeForce RTX 3060(USB4接続) 3.92(it)/51.8秒(10枚)
- GeForce RTX 3090(USB4接続) 8.77(it)/29秒(10枚)
- GeForce RTX 4070 Ti(USB4接続) 8.83(it)/27秒(10枚)
参考までにGeForce RTX 3090とGeForce RTX 4070 Tiの仕様をまとめるとこんな感じになる。
| GeForce RTX 3090 | GeForce RTX 4070 Ti | |
|---|---|---|
| アーキテクチャ | Ampere(2020〜2022) | Ada Lovelace |
| コードネーム | Ampere GA102 | AD104-400 |
| シェーダープロセッサの数 | 10,496 | 7,680 |
| コア周波数 | 1,400MHz | 2,310MHz |
| 技術プロセス | 8nm | 4nm |
| 消費電力(TDP) | 350W | 285W |
| メモリのタイプ | GDDR6X | GDDR6X |
| 最大メモリ容量 | 24GB | 12GB |
| メモリのバスの幅 | 384Bit | 192Bit |
| メモリ周波数 | 19,500 MHz | 21,000 MHz |
| メモリ帯域幅 | 936.2GB/s | 504.2GB/s |
ざっくり速度そのまま(気持ちダウン)、消費電力が65W増え、VRAMは+12GBの24GBへ。新品だと高いものの、中古だと(状態にもよるが)10万円前後まで落ちているため、VRAM 24GB目当てであれば、悪い選択肢ではないと思う。
ちょっとした裏技として、GeForce RTX 3090の映像出力には何も接続せず、今回のように単にAIエンジンとして使う場合は、NVIDIAコントロールパネルの設定で垂直同期オン、最大フレームレート20FPSにすると、省エネになり、かつStable Diffusionなどの速度が少し上がる。効果あるので、該当環境の方は是非試して欲しい。
VRAM 24GBになってからあまり触ってないが、やはり何をするにしても12GBと24GBでは雲泥の差があり大満足。
ただし、ドライバの531.61以降、VRAM容量が不足した時、RAM側の共有メモリを使う、いわゆるVRAMオフロード機能が追加された関係で、RAMのエリアに入った瞬間、激遅になる。こんな時はドライバを531.61へ戻すのが吉。
とは言え、速度的なパワーアップとしてGeForce RTX 4090を諦めたわけではなく(特にSDXLが重い)、上記のキットを再購入してチャレンジするか、ほかの方法を模索してみたい。
以上のようにGPUボックスキット購入→動かず失敗、AKiTiO Node Titanへ8ピン二股で8ピン×3とし、無理無理GeForce RTX 3090を動かした記となった。筆者としては珍しい“失敗談”だ。
本誌的には「どうなの?」的な内容だろうが、そこは自己責任で。筆者も編集部も作動については保証しない。あくまでも趣味の範囲、なのだ……。