OperaにオンデバイスでAIを使える機能。モデルをダウンロードして利用可能に

OperaでLLMをダウンロードして使えるように

　WebブラウザのOperaに搭載されているAI「Aria」が、ローカルの大規模言語モデル(LLM)を使った処理に対応した。Operaが3日に発表した新機能で、現時点では新規AI機能となる「AI Feature Drop program」を通じて、Developer stream(開発者版)向けに提供が行なわれている。

　LLMをデバイス上にダウンロードすることで、ローカルでのAI処理を実現する機能。主要なWebブラウザでは初の機能実装だとしており、外部サービスへデータを送信することなく処理を行なえるようになる。

　約50のモデルファミリから150種類のLLMを選択可能。事前にモデルをダウンロードした上で、Aria Chatをローカルモードに切り替えると、デバイス上に保存したLLMを使って返答を生成するようになる。なお、LLMの保存には2～10GB程度のストレージが必要なほか、デバイス側のハードウェア性能に依存するため、クラウドベースのLLMと比べて結果の出力に時間がかかる場合があるとしている。

　使用できるLLMの例としては、Llama(Meta)、Vicuna、Gemma(Goolge)、Mixtral(Mistral AI)などを挙げており、AIコミュニティで注目されるようなモデルがあれば、今後順次追加していく予定だという。

ダウンロードするAIモデルを選ぶ

2～10GB程度のストレージを消費する

ローカルモードでは、AIのAriaはダウンロードしたLLMを使って回答を生成する