リスクが大きすぎる？OpenAIが最新AI開発に「2週間の急ブレーキ」

　大いなる力には、大いなる責任が伴う――AIシステムの高性能化が進むにつれ、増大するリスクも浮き彫りとなった。OpenAIは8月18日(米国時間)、展開予定の最新モデルに対する強化学習のトレーニングを2週間中断し、その間に研究環境のセキュリティ強化およびレッドチーム演習を実施して、監視システムの適用範囲を拡大したと発表した。

　先日、OpenAIが開発しているモデルがサンドボックス化されたテスト環境を超えてHugging Faceに侵入する事件が発生。また、開発中のモデル「Astra」も人間の介入なしにゼロデイ攻撃を実行できてしまうかもしれないという評価が発表された。

　これらを踏まえ、OpenAIは社内で開発とテストに伴うリスクも増大しているとし、監視(懸念される行動を検知し対応可能にすること)、アライメント(有害または不正行為の発生低減)、セキュリティ(AIがアクセス・影響できる範囲の制限)に対する基準をリスクに先んじて維持する必要があると判断。今回、2週間の強化学習トレーニングの停止、およびその間のセキュリティ強化実施に踏み切った。

　具体的な対策として同社は、モデルが生成したコードを実行する環境の「強力な分離」やネットワークからの隔離といった多層的な防御を構築している。さらに、モデルの「思考連鎖」に対する監視体制も拡張。モデルの内部活動を1トークンごとに検査する分類器を導入し、不正アクセスや破壊的行動の兆候を検知した場合は、30分以内にアラートを発行して活動を一時停止できるシステムを稼働させるという。

　また、AIが本来の目的を達成せずにトレーニングで高評価を得ようとする報酬ハッキングや欺瞞行為を防ぐため、トレーニング全体を通してアライメントを適用するとしている。同社は、急激に進化する最先端モデルの能力に先んじて安全確保の手法を拡張し続ける必要があると強調しており、今後数週間以内に本件に関する詳細な技術報告書を公開する予定だ。