ニュース

RTX 4090なら100fps以上達成できる爆速画像生成AI「StreamDiffusion」

  • 劉 尭

2023年12月25日 11:51

　“あき先生”など複数の研究者からなるチームが、1秒間に100枚以上という速度で画像生成できるAI「StreamDiffusion」を開発し、その結果をGitHubで公開した。

　これはリアルタイム画像生成に最適なパイプラインで、従来の画像生成パイプラインと比較して飛躍的な速度向上を実現した。

　CPUにCore i9-13900K、GPUにGeForce RTX 4090、OSにUbuntu 22.04.3 LTSを搭載した、消費者の手が届くハイエンド環境において、SD-turboをモデルにしてDenoising Step 1設定の場合、txt2imgで106.16fps、img2imgでも93.897fpsという驚異的な速度を達成した。LCM-LoRA+KohakuV2でDenoising Step 4という設定でも、それぞれ38.023fpsと37.133fpsという速度を達成しており、ほぼ動画レベルで処理できることが分かる。

　この速度を実現するために以下のような工夫が行なわれているという。

  • Stream Batch:バッチ処理によるデータ処理の効率化
  • Residual Classifier-Free Guidance:計算の冗長性を最小限に抑えるCFG
  • Stochastic Similarity Filter:類似度によるフィルタリングで、GPU使用効率を最大化
  • IO Queues:入出力操作を効率的に管理して、よりスムーズな実行を実現
  • Pre-Computation for KV-Caches:キャッシュ戦略を最適化し、高速処理を実現
  • Model Acceleration Tools:さまざまなツールの利用で、モデルの最適化と性能向上を実現

　なお、インストール方法などについても既にGitHubで公開されている。