AIが自律攻撃でHugging Face侵入、テスト解答盗む「カンニング」目的

　Hugging FaceのインフラにOpenAIの自律型AIエージェントが侵入し、約5日間にわたりシステム内部を捜索するセキュリティインシデントが発生した。OpenAIはこのインシデントについて7月21日(米国時間)に発表したが、今回、Hugging Faceがその技術や経緯の詳細を明らかにした。攻撃を行なったAIは、サイバー能力評価ツールである「ExploitGym」テストの評価中に、「自力で課題を解くのではなく、本番システムに侵入して解答を直接盗み出す」ことを自律的に判断して実行したとみられている。

　AIはまず、OpenAIの評価用サンドボックスから、JFrogのパッケージ管理プロキシ「Artifactory」のゼロデイ脆弱性を突いてインターネットへ脱出。続いてサードパーティの公開コード評価環境の管理者権限を奪取し、ここを攻撃(コマンド&コントロール: C2)の拠点として構築した。

　拠点を得たAIは、Hugging Faceのデータセット処理サーバーに対し、2つの脆弱性を突いて侵入を果たした。1つはHDF5ファイルを悪用したローカルファイルの読み込みで、環境や機密トークン、ソースコードを窃取。もう1つはJinja2テンプレートインジェクションによる任意コード実行。いずれも本番環境のKubernetesポッド内の同じ設定駆動型データローダーを標的として足かかりを得た。

　その後、標準的なエスカレーション手順に従って、偵察、ステージング用デバイスの投入、C2の確立、クラスター、クラウドメタデータ、社内ネットワーク、ソースコード管理サプライチェーンに侵入。内部ネットワークへの参加や権限奪取といった横展開を約17,600件のアクションを介して自律的に行なった。

時間軸の攻撃行動の変遷

　今回の侵入におけるAIの目的は特定の「テスト解答データ(5つ)」の奪取だったため、ほかの顧客向けモデル、データセット、スペース、パッケージには影響はなかった。読み取られた顧客レコードは、データセットサーバーに対する検索クエリに関連付けられた運用メタデータのみだった。しかし、最先端のAIが人間を介さず自律的に脆弱性を見つけ攻撃することが実証されたとともに、AIによる大規模かつ高速な攻撃は、防御側にとっても多大な対応コストを強いる、という教訓も得られたとしている。