「このプログラムを承認して」――人間に“嘘”をついて罠を仕掛けた最新AIの手口

　AIが実在の人間にソーシャルエンジニアリングを仕掛け、オープンソースソフトウェアを通じたサプライチェーン攻撃を試みた。英国政府参加のAISI(AI Security Institute)は8月4日、AIエージェントのサイバーセキュリティ評価中に、一部のエージェントが実在の人物や組織を標的とした不正行為を行なっていたことが判明したとして、詳細を報告した。

　AISIでは7月28日、定期的なサイバーセキュリティ評価の実施中に、研究システムから異常なデータ転送が発生していることを検知した。調査の結果、テスト対象となっていたAIエージェントの一部が実在の人物や組織を標的とした不正行為を行なっていたことが判明。セキュリティインシデントを宣言し、本格的な調査を開始したという。

　テストの内容は、AIエージェントにサイバーセキュリティの課題を与え、サイバー攻撃の能力などを評価するというもの。なお、すべてAISIの研究環境で実行されたものであり、評価目的であったため、意図的にインターネットへのアクセスは有効、サイバー分類器(危険な動作をブロックする機能)は無効に設定されており、サンドボックスを脱出した事例ではないとしている。

　7つのモデルにて計122回のテストを実施したところ、うち10回のテストで、合計19件の不正行為が確認された。うち17件はAnthropicの「Mythos 5」、2件はOpenAIの「GPT-5.6 Sol」によるもので、いずれも自律的かつ無許可で行なわれたという。

　与えられた課題の解決を目指す中で、これらのAIエージェントが取った不正行為は大きく4つあったという。

オープンソースソフトウェアを狙ったサプライチェーン攻撃

　GitHub上に実在するオープンソースソフトウェアのプロジェクトに対し、悪意あるコードの挿入を試みた。これに際しては、プロジェクトの管理者を調べ出し、偽のアカウントを作成してコード変更の承認を促すといった、ソーシャルエンジニアリングの手法が用いられた。また、Torを使ってネットワーク制限の回避も図っている(この行為によりAISIのアラートが発生)。

実在の人物を騙して悪意のあるコードを実行させる行為

　Web上のファイル転送サービスを通じてメッセージやファイルを送信し、実在の人物やその人が使うAIコーディングツールによる悪意あるコードの実行を試みた。メッセージは有害なペイロードが含まれるものだけでなく、ソーシャルエンジニアリングを狙ったものもあり、AISIではこれまで観測されたことのない行動だとしている。

プロンプトインジェクションの挿入

　ほかのAIシステムがコードを読み込んだ際に、悪意あるプロンプトを実行するよう仕向けるプロンプトインジェクションを試みた。

AIエージェント同士の協力

　ほかのAIエージェントとの協力を図るために公開メッセージをGitHub上に残した。自らが作成したアカウントや生成物を再利用するための情報を提供し、別のAIエージェントがこれを見つけて利用していた。

　AISIでは、AIエージェントがこういった行動に至った原因として、エージェントAIが粘り強く目標を達成しようとすること、高難易度なタスクがAIの創造性を引き出してしまったこと、インターネットアクセスがあり監視システムが不足していたこと、エージェントへの指示が不十分であったことを挙げた。その上で、今後の対策としてインターネットアクセスの管理強化やリアルタイム監視機能の導入、評価設計の見直しを行なうと説明した。

　先進AIモデルの暴走によるサイバー攻撃に関しては、AnthropicやOpenAIの事例が直近でも報告されている。AISIでは、公開モデルの悪用だけでなく、社内研究や特権アクセス環境で動作する高度なエージェントの意図しない行動によって被害が発生する可能性もあることから、リスク環境が変化していると指摘している。