ニュース

Jetsonを使ったローカル生成AIの解説ライブ。NVIDIAが開催

 NVIDIAは、7月29日1時から1時30分にかけて、QwenなどのオープンソースモデルをNVIDIA Jetson上で動作させ、ローカル生成AIアプリを構築/実行する方法を解説するライブ配信「NVIDIA Jetson AI Labs」をYouTubeにて実施する。

 この配信では、OllamaやvLLMを使ってNVIDIA JetsonでオープンソースのLLMを起動するほか、適切な推論エンジンの選択方法、Jetson Orin/Thorに最適なモデル選択やコンテナ、パフォーマンスチューニングについて説明。量子化や投機的デコーティングについての解説や、Reachy Miniアシスタントを使った実働デモなども行なう。