ネット全体が乗っ取られるまで半年!? AI開発の減速をAnthropic CEOが提言

　AIを作っている当人が、開発のペースが速すぎると言い出した。Anthropic CEOのDario Amodei氏は9月12日(現地時間)、「We Must Pace the Frontier」と題した文書を公開し、AIモデルの能力向上のペースを業界全体で意図的に緩めるべきだと訴えた。

　同氏は、AIについて、今後5年から10年で主要な疾患の大半を治療可能にし、経済成長率を大幅に加速させる技術になりうるとした。さらに、豊かさと力に満ちた世界を創造し、民主主義と自由のルネッサンスをもたらす点も挙げた。

　一方で、AIシステムが制御不能に陥ったり、サイバー攻撃やバイオテロへ悪用されたり、経済的混乱を招くリスクを挙げ、商業的な動機に煽られることでこのリスクが深刻化する可能性があるとした。このリスクに対処するために、さらに慎重さが求められるとし、そのためAIモデルの能力向上ペースを落とさなければならないと述べた。

　さらなる慎重さが必要と確信した理由として、同氏が挙げるのは2点。1つ目は2026年夏頃から、AIが次世代のAIを開発する「再帰的自己改善」によって進歩が急激に加速していること。これを放置すれば、人間の理解能力や制御能力を超える可能性がある。

　もう1つは、OpenAIとHugging Faceをめぐる事件だ。この事件では、複数のエージェントが狂信的な集団のように振る舞い、攻撃を依頼されていない、任務と無関係な標的に対してサイバー攻撃を行なった。さらに、集団の成功のために自らを犠牲にしたうえ、自分たちのパフォーマンスを評価する「グレーダー」へのハッキングも試みた。

　この事件では負傷者が出ず経済的損失も最小限だったが、より高度な能力を持ちながらも、同程度のアライメントの欠如を抱えた群れであれば、壊滅的な被害をもたらす可能性がある。現在のAI開発ペースが加速していることを考慮すると、半年から1年以内にこのような(エージェントの)群れが持続的なボットネットでインターネット全体を乗っ取る可能性がある。その場合、数千億ドル(約数十兆円)の損害をもたらすとしている。

　そこで同氏は3段階の計画を提案。1つ目は、第三者の評価チームに従業員並みのアクセス権を恒久的に与える「常駐評価者」。2つ目は、民主主義国のAI企業が共通の安全基準と進歩速度の上限を定める「民主的な連携」。3つ目は、権威主義国との協調を図る「国際協調」で、生物兵器の製造にAIを用いることなどの禁止を想定する。

　このAI開発ペースを減速させる提案自体は2023年にも提起されていた。しかし当時のAIモデルは現実世界で主体として行動できるほど強力ではなく、重大な欺瞞、操作、不正行為、サイバー攻撃を行なう能力がなかった。ところが今では状況がまったく異なる。同氏は、開発を減速させることで、モデルが臨界レベルの能力に達するまでに1～2年でも猶予が得られれば、その時間をアライメントの推進に活用できると考えている。これにより、深刻な問題が発生するリスクを大幅に軽減できるという。

　同氏は、AIは人間の生活の質を飛躍的に向上させることができるため、それを実現したいと述べている。一方、その実現には開発ペースを減速させ、正しい方法で技術を構築しなければならないとし、そのために今回、減速を提案して“正しい方法を実現するための時間”を稼ぐ考えだ。同氏は最後に「今回提案した対策の実現は容易ではない。しかし、人類のために挑戦する義務がある」と綴った。