今のPCでローカルLLMがどの程度動くのか、ブラウザで自動判定するサイト

　ChatGPTの登場以降、大規模言語モデル(LLM)を中心にAI技術がどんどん普及している。中でも、クラウドサービスを使わず、自身のPCやスマートフォン上でLLMを動かす、いわゆる「ローカルLLM」も一定の注目を集めている。

　しかし右も左も分からない初心者にとって、ローカルLLMを導入する上で最初のハードルとなりそうなのが「今使っているデバイスで、どの程度のモデルがどの程度動くのかまったく見当もつかない」ことではないだろうか。

　ローカルLLMを動作させるうえで、ほぼデファクトスタンダードともいえる「LM Studio」は、自身でPCのスペックを検出し、今あるGPUやメモリ容量で問題なくロードできるか見分ける機能を持つのだが、動作速度の目安は提示してくれない。

　「せっかく8GBのモデルをダウンロードしたのに使い物にならず、また次を試す」と、動作するモデルを見つけるのに時間を浪費してしまっては本末転倒だ。また、Hugging Faceの膨大なモデルライブラリから最適なモデルを探すのは、まるで海の中で針を探すようなものだろう。

　そんなとき役立ちそうなのが「Can I Run AI locally?」というWebサイト。アクセスすると、WebGPUなどの技術を使い、GPU(とGPUコア数)、メモリ、メモリバス幅、メモリ容量を自動的に検出し、それに適したモデルをリストアップしつつ、目安となる実行速度(tok/s)を提案してくれる。

　また、AIモデルは量子化レベルで消費メモリも変わるため、一概にOKとはならないわけだが、このWebサイトではそのモデルをクリックすると量子化レベルごとの品質、メモリ消費量、速度目安を提示してくれるので、ダウンロードする前の参考になる。

モデルの中で量子化レベルの違いも提示してくれる

　注意したいのは、「ハードウェア検出が完璧ではない」という点。たとえば筆者の環境ではVRAMが6GBバージョンのGeForce RTX 3050ビデオカードを使っているのだが、自動検出では8GB版が出てしまったし、リストにはIntel Arc Bシリーズの情報などもないようだ。さらにいえば、CPUだけで実行することも想定されていないようなので、情報は参考、目安程度に留めてもらいたい。