GB10搭載のデル小型AI機を社内のAI専任ではない技術スタッフが1カ月試用、向いたのは「放置して任せる」仕事

　派手さのない小さな箱が、社内のサーバールームに1カ月ほど置かれていた。デル・テクノロジーズの「Dell Pro Max with GB10」。NVIDIAの小型AIスーパーコンピュータ「DGX Spark」と同じ「GB10」チップを積んだ、ローカルAI向けの小型ワークステーションだ。

デル・テクノロジーズ「Dell Pro Max with GB10」。ハニカム状の前面パネルを備えた小型筐体で、社内では「小さめの弁当箱」と呼ばれていた

　借りた動機は、はっきり言えば「保険」だ。社内ではクラウドAIをAPIの従量課金とサブスクリプションの両方で使っており、費用は月を追うごとにかさんでいる。クラウドのAIがいつまで今の価格で使えるかは、誰にも分からない。

　一方で技術部門には、外部サービスに何があっても業務を止めない持続性が求められる。値上げされてから慌ててローカルAIへ移るのでは遅く、代替手段を先に確かめておきたい。そんな話が社内で持ち上がっていた。

技術部門ではない筆者が「GB10」試用記を書く経緯

　最初に立場を明かしておくと、筆者はPC Watch編集部の副編集長で、技術部門でもデータ分析の担当でもない。ただ、デル・テクノロジーズを訪問した際のメンバーの1人で、社内の技術部門とデジタルマーケティング部門が「試したい」と手を挙げた縁から、1カ月弱の借用が実現した。本稿はその試用を間近で見聞きした立場から書く、いわば社内取材記だ。

　だから本稿は、AIの専門家による性能検証ではない。AI専任ではないスタッフが実務の合間に触ってみて何が分かったか、という「最初の試用」の記録として読んでほしい。また、試した対象が社内の実業務であるため、扱ったデータや処理の中身といった具体的な部分は社外秘となり、書けることに限りがある。この点はあらかじめお断りしておく。

「小さめの弁当箱」がサーバールームに収まるまで

　本題に入る前に、借りた機材を紹介しておこう。今回試用したのは、Dell Pro Max with GB10の2TB SSD搭載モデルだ。主な仕様は以下の通り。

　まず外観だが、本機は良くも悪くも地味だ。DGX Sparkのきらびやかな筐体と違い、落ち着いた色の小さな箱で、社内では「小さめの弁当箱」と呼ばれていた。本体は小さいのに、持ち上げるとずっしり中身が詰まった感触だという。華美な装飾のないオフィスに置いても違和感がないのは、法人で使う機材としてはむしろ美点だろう。

　設置も拍子抜けするほど簡単だった。電源は280WのACアダプタで、電気工事や専用ラックを考える必要がなく、オフィス内のサーバールームにそのまま収まった。監視ツールで見た消費電力は、待機時で4W、AIの処理中でも50W前後。エンタープライズ機のように電源の確保から悩まなくて済むのは、担当者が最初に挙げた利点だった。

　小さくつまずいたのは初期設定だ。ポートがUSB Type-Cのみで、手持ちのUSB Type-A接続マウスがつなげず、USBハブを引っ張り出すことになった。もっとも初回セットアップさえ終えれば、あとは画面も入力機器も不要だ。

Dell Pro Max with GB10の前面ポート。USB Type-C 3基とHDMI、10GbEのRJ-45、QSFPを備え、電源供給もUSB Type-Cで行なう。USB Type-Aはない

　余談だが、電源ケーブルをつなぐだけで勝手に起動し、電源ボタンを短く押しただけでは切れなかった。ペットや子どもがボタンに触れても止まらないのは、サーバー的と言えばサーバー的だ。

　セットアップ後は社内のインフラチームと連携して固定IPアドレスを割り当て、以降はSSH(遠隔操作)で運用した。初回のシステム更新に20分ほどかかった程度で、大きなトラブルはなかった。

Dell Pro Max with GB10の初期セットアップ画面。初回だけモニターと入力機器をつなげば、以降はリモートで運用できる

AI専任でないスタッフが1カ月で試せたローカルLLM環境

　本機はUbuntuベースの「DGX OS」で動き、GUIもある。UbuntuなどのLinuxに触れた経験があれば導入は難しくなく、マニュアルを開かずにセットアップを終えられた。発売から時間がたち、ネット上に先人のレビューや手順情報が豊富にあるのも心強い。自分でPCを組んで環境を構築するより、はるかに楽だったという。

　モデルの導入には、手元のマシンでAIモデルを動かすローカルLLM実行ツールの定番「Ollama」を使った。コマンド1つでモデルを取り寄せて動かせる手軽さが持ち味で、AIの知見が深くなくても試せる。ツール自体も試用中に何度も更新が来るほどの日進月歩ぶりだ。ローカルAIの入門用として上出来の環境だと、担当者は評価していた。

　中身の余裕も大きい。128GBのユニファイドメモリ(CPUとGPUが共有する一体型メモリ)と2TBのストレージを備え、試用では17種類ものモデルを入れて試せた。中でも1,200億(120B)パラメータ級の大型モデルが1台で動くのは、この種の小型機ならではの体験だ。

　どのモデルを入れるかは、本誌のニュース記事などを参考に有力そうなものを見繕った。日々新顔が登場するので、この見繕い自体がちょっとした楽しみでもあったようだ。もちろん万能ではなく、128GBのメモリに収まらない超大型モデルは動かない。それでも新しいモデルを次々に入れて試せたのは、この容量あってこそだ。

　その上で、社内の実務に近いワークフローを2つ載せてみた。1つは記事の校正で、現在クラウドAIに任せている処理をローカルLLMで置き換えられるかを試した。もう1つはデータ分析で、AIアプリ開発ツール「Dify」を使い、Webアクセスログを自然言語で問い合わせるチャットボットを組んだ。どちらも「動く」ところまではたどり着けた。

　Difyの良さは、プログラムを書かずにワークフローを組め、できたチャットボットをURLの共有だけで社内に配れることだ。分析ツールの操作やSQL(データベースへの問い合わせ言語)を知らない部署にも展開しやすい。試用では、クラウドAI版とローカルLLM版の2系統を並走させ、応答を見比べるところまで進んだ。

Difyのホーム画面。ニュース要約やFAQチャットボットなど、試作したアプリが並ぶ。プログラムを書かずにワークフローを組める

　ただし、実用と呼べる精度や応答には調整が必要、というのが試した側の実感だ。もっともこれは、機材のせいと言い切れない。手軽に導入できるモデルは容量を圧縮(量子化)したものが多く、設定を詰めないまま比べるのはフェアではないからだ。128GBの環境を活かす調整に時間を割けなかったことが、今回の反省点として残った。

GB10搭載機が向くのは「放置して任せる」仕事

　1カ月の試用で一番の収穫は、この機材の性格がつかめたことだ。担当者の所感を集約すると、向いているのは「時間がかかってもいいから任せて放置する」タイプの仕事になる。深夜に大量の定型処理をまとめて流す使い方や、Webサイトを巡回して情報を集めるような、人手では追いつかない調査がその典型だ。

　イメージとしては、夜のうちに処理を仕込んでおき、翌朝に結果を受け取る運用だ。依頼が来た瞬間に答えを返すチャット窓口のような用途とは、対極にある。

　校正でいえば、現行のクラウドAIでもボタンを押してから結果が出るまで1分から3分前後は待つ運用だ。ローカルLLMに替えて待ち時間が多少延びても、別の作業をしながら待つ使い方なら許容できそうだ、という感触を担当者は口にしていた。

　逆に、いつ来るか分からない依頼へ即座に返す使い方は苦手だ。複数人で同時に使うと処理は人数分だけ遅くなり、待たされる場面が増える。この見立ては、LLMの応答生成がメモリの読み出し速度に左右されやすいという一般的な性質とも合う。実際、監視ツール上ではGPU使用率が95%に達していても、消費電力は50W前後にとどまっていた。

　なお複数人で使うと遅くなると書いたが、面白いのは「全員が平等に遅くなる」ことだ。メモリに余裕があるため複数のモデルを同時に載せられ、誰か1人だけが待たされ続けることがない。小さなチームで共用するなら、これは案外ありがたい性質かもしれない。

　ひとつ添えておくと、この種の機材はソフトウェアの最適化で実効性能が大きく変わる。あくまで「現時点で、我々が試した範囲で見えた性格」であることはお断りしておきたい。担当者からは「3倍くらい速い後継機が出たらうれしい」という率直な声も出ていた。

GB10試用の収穫と今後試したい機材

　もう1つ、ローカルならではの利点として挙がったのが「モデルを固定できる」ことだ。クラウドAIは頻繁に世代交代し、そのたびに指示文(プロンプト)の調整を迫られる。ローカルLLMなら同じモデルを数年単位で使い続けられ、業務システムを安定させやすい。

　データを社外に出さずに済むことも大きい。クラウドAIは「学習に使わない」契約でも、データ自体は外部サーバーへ送られる。ローカルLLMなら構成上、社外への送信そのものが発生しない。アクセスログのような社外秘を扱う際の心理的なハードルと説明の手間を、仕組みごとなくせる。

　費用の面でも、使うほど課金が積み上がるクラウドと違い、導入後は電気代だけで回せる。処理中でも50W前後という消費電力なら、その電気代も知れている。どの業務をどこまで任せれば元が取れるかの計算は、次の宿題だ。

　1カ月弱の試用で言えるのは、あくまで「GB10と128GBメモリ、2TBストレージという構成を試した」ところまでだ。ほかの機材との比較はしておらず、導入の可否を語れる段階でもない。

　それでも冒頭の動機に立ち返れば、収穫は十分にあった。クラウドAIに何かあってから慌てるのではなく、その前に代替手段を実機で確かめられたこと。社外秘のデータを社内で完結する構成で扱えると確認できたこと。そして何より、試行錯誤を通じて社内の技術力そのものが上がったことだ。

　次は知人の会社から借りられそうなハイエンドGPU「NVIDIA RTX PRO 6000」など、別の機材でも速度感の違いを確かめたいという。ローカルAIの「置き場所探し」は、まだ始まったばかりだ。