AIが自身の安全研究を自動化、6時間で人間超えの手法を開発。Anthropicの「AAR」

　AIの安全研究すらAI自身が自律的に行ない、人間の研究者のアイデアを上回る時代がやってきた。Anthropicフェローシッププログラムの研究者らは、AIモデルのアライメント(安全性の調整)失敗を自律的に修正して軽減するAIエージェント「Automated Alignment Researcher(AAR)」に関する研究結果をブログで公開した。

　AARは、「Claude Opus 4.8」をベースに構築されたAIエージェントで、文献検索から手法の提案、プログラムコードの作成、モデルの追加トレーニング、評価システムによる検証までの一連のサイクルを自律的に実行する。

　「欺瞞」や「幻覚」、「脱獄」、「プロンプトインジェクション」、「報酬ハッキング」など10種類のアライメント失敗を対象に検証を行なったところ、AARが発見した最良手法は同失敗を大幅に減らすことに成功。最大4.7倍の規模を持つモデルに対しても、その効果が維持されることが確認できた。

　経験豊富な人間の研究者との比較検証も行なわれた。AIの安全性に関する分野で平均2.5年の経験を持つ28人の研究者に最大8時間を与えて考案させた手法とAARを比較したところ、AARは平均して約6時間で最も優秀な人間のアイデアを上回るスコアを記録した。

　また、初期の研究方向として人間が書いたアイデアを与えた場合でもAARのパフォーマンスは向上せず、人間の指導を必要とせずに自律的なアプローチを見つけられるレベルに達していることが示唆された。

　研究チームは、特性が把握されている課題に対するアライメント研究の自動化が実用段階に近づいているとし、今後のAI安全性の進歩を加速させる重要な足がかりになるとしている。