NVIDIA、PC上で動くカスタムAI「Chat with RTX」を無償公開

Chat with RTX

　NVIDIAは13日(米国時間)、PC上のローカルデータを使って自分にパーソナライズしたAIチャットボットを作ることができるツール「Chat with RTX」を公開した。GeForce RTX 30/40シリーズまたはNVIDIA RTX Ampere/Ada世代、かつVRAM 8GB以上のGPUを搭載したPCで利用できる。ツール自体は無償で入手可能。

　外部の情報を用いて生成AIモデルの精度を高める手法であるRAG(Retrieval-Augmented Generation)に加え、NVIDIA TensorRT-LLM、NVIDIA RTXアクセラレーションを用いて、Windows PC上で生成AI機能を実現するツール。MistralやLlama2といったオープンソースの大規模言語モデル(LLM)に、PC上のローカルファイルをデータセットとして読み込むことで、「この前家族が教えてくれたオススメのレストランってどこだっけ?」といった、私的なユーザーの質問に対する回答をチャットボットが返してくれる。

　クラウドを経由せず、ローカルPC上でGPUとデータセットを用いて処理するため、高速な処理が可能。また、機密性の高いデータについても第三者に共有することなく処理できるとしている。

　データセットとしては、テキスト(.txt)、PDF(.pdf)、Word文章(.doc/.docx)、XML(.xml)などさまざまなファイル形式をサポート。ツール上からフォルダを指定すると、その中のファイルを読み込んで回答に活用する。また、YouTubeの動画やプレイリストのURLを読み込むことも可能で、その内容について尋ねることもできる。

YouTubeの動画URLをデータセットとして読み込むこともできる