ニュース

iPhoneをつないでMacのローカルAIを高速化するツール

 iPhoneをMacの外付けGPUのように活用し、ローカルAI処理を高速化するツール「Backburner」がGitHubにて公開された。利用するにはMacとiPhoneの両方にツールを導入する必要がある。

 Backburnerは、Mac上でローカルAIを実行する際に、一部の処理やデータの保管をiPhoneにオフロードして推論性能の向上を実現するツール。iPhoneの持つGPUやNeural Engineを活用し、Macとの分散処理を行なう仕組みで、出力結果の精度を保ちつつ、処理の高速化やコンテキスト容量の拡大を実現する。

 プロンプトの読み込みにおいては、最大64kトークンのプレフィル時に、プロンプトトークンの各バッチごとに、Mac側が1~40のレイヤー、iPhone側が41~64のレイヤーをそれぞれパイプライン処理することで待機時間を短縮。Qwen3.8-27B IQ4_XSをローカル実行した場合、16~48kトークンの場合ではプレフィルが29~44%高速化されるという。

 また、Macのメモリ容量を超える古いKVキャッシュをiPhoneに転送することで、より大きなコンテキストに対応できるようになる。24GBメモリのMacでQwen3.8-27B IQ4_XSを扱う場合、単体では8bit量子化コンテキストで64kトークンが上限となるが、これにより128kトークンを保持できるという。Mac側からの要求に応じて、アテンションの計算なども行なえる。

Backburnerによる効果

 そのほか、Mac単体での動作も高速化を図るため、SME2ユニットによる行列計算の分散処理やDFlash2による投機的デコーディング、SSDプロンプトキャッシュといった最適化も組み込まれている。

 対応デバイスは、Mac側がApple Silicon搭載Mac、外付けデバイス側がiPhone 15 Pro以降またはMチップ搭載iPad。帯域確保のため、接続には10Gbps対応のUSB Type-Cケーブルを使う必要がある。