トピック
Radeon AI PRO R9700で作った自社AIを営業・在庫・調査で実用化する実践マニュアル
- 提供：
- 日本AMD
2026年9月16日 06:30
生成AIを業務に取り入れたい。しかし、顧客情報や契約書、社内の在庫データを外部サービスに送るわけにはいかない……。これは特に、専任のAI部門を持たない中小企業のIT担当者にとって頭の痛い問題だ。そこで以下の第1回の記事では「Radeon AI PRO R9700」を搭載した1台のPCにローカルLLM環境を構築した。 データを社外に出さず、モデルの利用に月額料金もかからない“自社専用AI”だ。
ただし、環境を作っただけでは仕事は変わらない。重要なのは、その1台を現場でどう使うかだ。今回は中小企業のIT担当者がエンジニアの助言を受けながら、「営業」「在庫管理」「リサーチ」の3部門の課題を解決していく、という内容になっている。
まずは、その土台となるローカルLLMの仕組みと、AMD環境を選ぶ理由を整理しよう。
ローカルLLMならデータを自社内で処理できる
LLM(大規模言語モデル)は、人の指示を理解し、文章の作成や要約、翻訳、質問への回答などを行なう生成AIの中核だ。
ChatGPTなどのクラウド型サービスでは、入力した文章をインターネット経由で事業者のサーバーへ送り、処理された結果を受け取る。一方のローカルLLMは、モデルを自社のPCやサーバーで動かし、入力から回答の生成までを社内で完結させる。
違いは大きく2つある。1つ目はデータを処理する場所だ。 ローカルLLMなら、社外秘の資料や顧客情報を外部サービスへ送らずに活用できる。 もちろん、社内ネットワークやユーザー権限などの管理は別途必要だが、「外に出せないため生成AIに入力できなかった情報」を扱えるメリットは大きい。
2つ目はコストのかかり方だ。クラウド型は月額ライセンスやAPIの利用量に応じた料金が継続して発生する。 ローカルLLMはPCやGPUへの初期投資が必要な半面、モデルを何回呼び出しても利用料は増えない。 電気代や保守費用はかかるものの、社員数や利用頻度に比例して月額料金が膨らまないため、継続的に使うほど支出を予測しやすい。
ローカルLLMは、クラウド型サービスの代用品をそのまま社内に置くというより、自社のデータと業務に合わせて育てる基盤と考えると分かりやすい。モデル単体は社内固有のルールや最新の在庫を知らない。
そこで、文書を検索する機能や外部処理を呼び出す仕組みを与え、社員の質問に必要な情報をその都度加える。最終判断を人が担うことを前提に、「検索」「整理」「翻訳」「下書き」などといった時間のかかる作業をAIに任せるわけだ。
ローカルLLMの環境は、次のような層で構成される。
- 学習済みのベースモデル
- モデルを動かす実行環境
- 社内文書を参照するRAG(検索拡張生成)
- 社員がブラウザから利用するUI
RAGは質問に関連する文書を検索し、その内容をLLMに渡して回答を作る仕組みだ。本稿で扱う3つの実用例でも、これらの土台を目的に応じて拡張していく。
仕組みや構築手順の詳細は第1回で解説しているが、本稿の実践例はここまでの前提だけで読み進められる。
30B級モデルを現実的な予算で動かせるAMD環境
ローカルLLM用PCで最初の壁になるのが、GPUに搭載されるVRAM(ビデオメモリ)の容量だ。小規模なモデルは少ないVRAMでも動かせるが、 業務で使える回答品質といわれる30B級のモデルを選ぶと、量子化した場合でも24GB以上が1つの目安になる。 一般的なGPUではここを超えた途端に選択肢が減り、価格も大きく跳ね上がる。
そこで「AMD Radeon AI PRO R9700」の登場だ。AMDのRadeon AI PRO R9700は、 32GBのVRAMを搭載しながら、2026年9月3日時点での筆者調査では、実売価格は約30万円だった。 VRAM 16GBで約13万円のRadeon RX 9070 XTは価格を抑えられるものの、30B級にはVRAMが足りない。VRAM 32GBの競合GPU搭載ビデオカードは80万円以上する。VRAM 128GBのユニファイドメモリを選べる他社製ミニPCは約100万円となり、今回使用するvLLMにも不向きだ。
結果として、大容量VRAMと導入価格のバランスを考えると、Radeon AI PRO R9700は中小企業が30B級のローカルLLMを導入する現実的な選択肢になる。
今回のPCでは、Radeon AI PRO R9700に8コア16スレッドのRyzen 7 9850X3Dを組み合わせた。LLMとRAGを併用する環境では、CPUのコア数だけでなく、ベクトル検索で発生するランダムアクセスの速さも効いてくる。Ryzen 7 9850X3Dは、3D V-Cacheによる96MBの大容量3次キャッシュを備えており、ベクトル検索のスループット向上を期待できる。GPUだけでなく、検索処理を支えるCPUも含めて組みやすいのがAMD環境の強みだ。
サーバーは一度構築すれば、モデルの月額利用料は0円だ。第1回は、Gemma 4 26B-A4B-itの4bit量子化モデルで測定したところ、生成速度は1並列で50.17tok/s、4並列でも合計155.8tok/s(1人あたり約39tok/s)に達した。一般に30tok/sを超えると十分に速く感じられるため、 部署単位の利用なら1台でも実用的な応答速度を確保できる。
重要なのは、カタログ上の演算性能だけでなく、使いたいモデルをVRAMに収め、複数人からの要求を安定して処理できることだ。今回の26BモデルはVRAMを約28.2GB使用するため、32GBを搭載するRadeon AI PRO R9700ならモデルをGPU上に載せたまま運用できる。 大容量VRAMを比較的低い初期費用で確保できることが、Radeon AI PRO R9700を選ぶ最大の理由になる。
ハードウェアの構成は、GPUがRadeon AI PRO R9700、CPUがRyzen 7 9850X3D、メモリが64GB、ストレージが1TB SSDで、OSはUbuntu 24.04.4 LTSとなっている。ここからはこの1台が実務でどこまで役立つかに焦点を当てていこう。
GPGPU研究の第一線でも採用されるRadeon
AMD RadeonによるAI基盤は、価格だけを理由に選ぶものではない。GPGPU研究の草分けとして知られる濱田剛氏がCEOを務めるDEGIMA AIも、AI基盤にAMD Radeonを採用している。大規模計算を知る専門家が選んだGPUと同じ系統の環境を、中小企業でも現実的な価格帯で導入できることは安心材料になる。
