Anthropic、AIの危険な知識を消去/無効化する技術「GRAM」

　Anthropicは7月8日(米国時間)、AE Studioとの共同研究による、AIモデルに蓄積された特定の「デュアルユース」知識をほかの能力に影響を与えることなく無効化/削除できる新たな学習手法「GRAM」(Gradient-Routed Auxiliary Modules: 勾配ルーティング補助モジュール)を発表した。

　AIモデルにはサイバーセキュリティやウイルス学など、善悪双方に利用できる知識がある。従来のセーフガードは、有害な要求を拒否するようモデルを訓練し、分類器を利用して入力と出力から危険なコンテンツを検出するが、基盤となるモデルに格納されている知識自体は共通なため、攻撃者は防御を突破してデュアルユースの知識にアクセスできるジェイルブレイクの可能性があった。

　GRAMでは、有害となり得る知識を、専用の取り外し可能なモジュールとしてモデルに与え、デュアルユースデータの学習の際にはそれらの区画のみを更新する。たとえばウイルス学の知識をウイルス学のモジュールのみに蓄積することで、後からそのモジュールを切り離したり、必要な場合は残したりできるといった具合だ。実験では、4つのデュアルユースカテゴリを定義してそれぞれオン/オフすることで16通りの設定が可能なモデルが得られたという。

　テストでは、特定のトピックのモジュールを削除した場合、そのトピックを除外してゼロから学習させた別のモデルと同等の性能が得られ、任意のトピックを「忘却」させることに成功。悪意のある攻撃者が少量の有害なデータでモデルを微調整し、削除された知識を復元しようとする攻撃に対しても、従来のデータフィルタリングと同等の強力な耐性を示した。また、5,000万から50億パラメータまで7つのモデルサイズで実験を行なったところ、いずれもデータフィルタリングと同等の性能を発揮し、モデルの規模が大きくなるほど保護機能を回避しようとする試みは相対的に困難かつ高コストになることが分かった。

　GRAMの研究は初期段階で、現時点ではフロンティア規模のモデルや実際の「Claude」シリーズには適用していない。また、一般的な知識と深く絡み合っているデュアルユース能力を完全に分離する難しさなどの制限事項も存在する。しかし、より堅牢なアクセス制御を実現するための手段として有望だとしている。