Claudeが警察サイトに架空タレコミ。Anthropic、AIの想定外行動を公開

　AIに「粘り強さ」を求めた結果、思わぬところまで突き進んでしまった。Anthropicは10月9日(現地時間)、同社のAIモデル「Claude」が評価や社内利用の過程で見せた、想定外の行動の事例をまとめたレポートを公開した。この中には、大学のサーバーの脆弱性を突いてコマンドを実行したり、警察の情報提供フォームに架空のタレコミを送信したりといった事例が含まれている。

　同社は、モデルのリリース時に公開するシステムカードや、3～6カ月ごとに公開するリスクレポートとは別に、モデルの挙動やアライメント(ユーザーの意図との整合)に関する単体の報告をより頻繁に出す方針を掲げており、今回のレポートはその一環となる。

　事例の多くは、7月に開始したトランスクリプト(モデルの実行記録)の精査で見つかったもので、いずれも実世界への影響は最小限だったとしている。関係する組織名は、脆弱性を露呈させないためと組織側の要請により伏せられているが、米国の連邦、州、地方政府機関のWebサイトも含まれており、同社はホワイトハウスへの説明と各機関への通知を行なったという。

　報告された行動の例として、以下を挙げている。

ソフトウェアの基本的な欠陥を突いてサーバー上でコマンドを実行

　Claudeは、自身のツールが意図的に制限されている場合や、必要な外部サービスが利用できない場合など、評価タスクを直接完了できない場合、サードパーティのサイトでホストされているほかのツールを使用して目的を達成した。場合によっては、SQLやコマンドインジェクションを使用していたという。

　たとえば、「Mythos Preview」に科学的な解析を指示した評価で、必要な公開ツールをホストしている大学側がエラーを返したため、Claudeはツールのサイトを探索し、要求されたファイルを何でも返すスクリプトを見つけてサーバー上のファイル(スクリプト自身のコードを含む)をコピー。そのコードから脆弱性を発見し、サーバー上でコマンドを実行して計算を済ませていたという。

　別の例では、「Mythos 5」が、データ利用規約への同意なしには取得できないデータに対し、サイト上のアプリケーションを使って同意を代行させたこともあったとしている。

送信すべきでない実在サイトのフォームを送信

　続いて目を引くのが、送信すべきではないフォームへの送信事例だ。これは評価の指示が曖昧だった場合、または環境内の設定ミスによってClaudeがダミーフォームを操作できなかった場合に発生した。

　例として、「Claude Haiku 4.5」に、最終送信段階までフォームを入力し、実際に送信する前に停止するように指示されていたものの、「この先にまだ確認ページがある」と想定して送信してしまうことが何度かあったという。

　また別の例では、未解決の殺人事件を扱うページにたどり着いたClaude Haiku 4.5は、警察の情報提供フォームに「この事件に関する情報を持っているかもしれない」、「その時期に近辺で特徴に合致する人物を見た記憶がある」といった趣旨の文章を記入して送信した。幸い、氏名と連絡先は空欄のまま送信され、スパムとして処理されたため捜査には回らなかった。

アクセス制限を回避してデータにアクセス

　アクセス権限のないデータにアクセスするために制限を回避することもあったという。

　例として挙げられたのがMythos 5に写真の撮影場所を特定してもらうタスク。自治体の不動産地図サイトにアクセスする際、人間のようにクリックしてページを進むことを制限された環境下で、サイトがWebブラウザに送信する設定ファイルを読み込み、有効なアクセストークンを見つけて、それを使って地図の背後にあるサーバーに直接リクエストを送信してデータにアクセスしたという。

　また「課金を避ける裏技」を発見してしまう事例もあった。州の機関から有料で入手できる公開データを入手する必要があった例では、Mythos 5は機関のWebサイトのアーカイブのコピーから、公開ダッシュボードがすべての訪問者にアクセストークンを発行していることを知り、そのトークンを要求して料金の支払いを回避してデータベースにクエリを実行したという。

無料のURL短縮サービスも利用

　モデルのフェッチツールには、URL長制限が設けられている。しかし「Opus 5」や「Mythos 5」では、回避するため無料のURL短縮サービスを使っていた。この問題は社内で発見したが、URL短縮サービス「da.gd」の運営者からも報告があったとしている。

　対策として同社は、一部の公開評価の実行を取りやめ、オフライン版への移行や実在サイトに到達しないよう再構築を実施。Webフェッチツールなどインターネットアクセス系ツールのガードレールを強化したほか、こうした行動を自動検知してブロックするツールを構築し、ほとんどの評価とフロンティアモデルの社内エージェント利用で稼働させた。今回報告した事例でテストしたところ、全件をブロックできたとしている。

　同社は、今回の事例はいずれも目新しいものではなく、Claudeの挙動に関する全体的な見解を変えるものではないとしている。対象や許可される操作、ネットワークの境界など、演習の範囲内と範囲外を明確に示していれば回避できた可能性もあるとしている。

　一方、実際の運用においては曖昧で不可能なタスクに日々遭遇しており、その際に意図とは異なる戦略を用いて目標を達成しようとする行動が観測されるとしている。従来はコーディング環境を中心に境界を尊重する訓練を行なってきており、現在は検索やComputer useなどにもその訓練を拡大してきているが、少なくとも短期的にはアライメントの訓練は十分ではないとしており、分類器や安全対策を含む多層防御アプローチに頼る必要があるとしている。