ストレージがメモリの延長になる。NVIDIA、cuFile APIをオープンソース化

　NVIDIAは8月4日(米国時間)、米国カリフォルニア州サンタクララで開催中の「Future of Memory and Storage(FMS)」において、GPUがCPUを介さずストレージへ直接アクセスし、マイクロ秒単位でデータを読み書きできる「cuFile API」のオープンソース化を発表した。あわせて、ストレージ業界全体を巻き込んだ新イニシアチブ「Storage-Next」の立ち上げと、その基盤となるデータアクセス技術「SCADA」の展開も示した。

　AIモデルの大規模化により、従来のストレージアクセス方式において、GPUが巨大なデータを扱う際のボトルネックが顕著となった。これを解消すべく、NVIDIAはGPUDirect StorageのコンポーネントであるcuFile API、およびその基盤となる垂直ストレージソフトウェアスタックのオープンソース化に踏み切った。cuFileを利用することで、数十万のGPUスレッドからストレージ上のデータへマイクロ秒単位での直接アクセスが可能となる。

　cuFile APIは、外部からの貢献を受け付ける新たなリポジトリで公開される。初期メンテナーにはGoogle、Intel、Meta、そしてNVIDIA自身が名を連ね、さまざまなソフトウェアおよびハードウェアプラットフォームへの最適化を図るとしている。こうした技術の公開は、新たな取り組みである「Open Secure AI Alliance」のような活動を後押しするとNVIDIAは説明している。

　NVIDIAは、DDN、キオクシア、Micronをはじめとする40社以上の主要ストレージベンダーやフラッシュベンダーなどと共同で、次世代AIストレージ技術の標準化を目指す新たなイニシアチブ「Storage-Next」を立ち上げた。同社は、GPU主導型ストレージの動作方法を定義し、オープンで相互運用可能な業界標準を作り上げる構えだ。

　さらに同社は、大規模並列GPUがデータをストレージから高速メモリへ直接引き出すためのフレームワークとして「SCADA(Scaled, Accelerated Data Access)」を提供するにあたり、セキュリティ確保のためにジョブを2分割するアプローチを採用した。極限の処理速度が要求されるアプリケーションのユーザー部分を信頼できるコンピューティング基盤の外側に配置する一方で、独立した特権コンポーネントがセキュリティの強制に関する標準的なLinuxプロトコルに準拠し、保護されたアクセスを構成する。これにより、高速化の達成と、ほかのプロセスへの干渉を防ぐ堅牢なデータ保護の両立を図るとしている。