コーディング評価「SWE-Bench Pro」は役に立たない。OpenAIが非推奨に

　OpenAIは7月8日(米国時間)、広く使われているAIコーディングベンチマークの1つである「SWE-Bench Pro」を監査したところ、フロンティアコーディング能力について信頼性の高い測定ができなくなっていることを発見したため、主要なコーディングベンチマークとして推奨していたことを撤回した。

　今回のSWE-Bench Proに対する監査において、問題の約30%に欠陥があり、正しく評価できていないことが分かった。たとえば、隠れた条件や矛盾する指示、過度に厳格なテスト、不完全な評価基準などがあり、AIが正しく解決策を示してもテストに不合格になってしまったという。

　今回の調査に当たっては、AIエージェントによる検証のみならず、5人の経験豊富なソフトウェアエンジニアによる独立チェックも行なった。これにより、専門家による判断を中心にしつつ大規模にタスクを検証できたという。

　OpenAIは最後に、AIコーディング能力の向上に伴い、それを評価するテストもより難しく、より公平で、より信頼できるものにしなければならないとし、この分野の本当の進歩や最先端を理解するには、より優れた評価基準が必要だとまとめている。