OpenAI、ChatGPTの間違いを見つけるAI「CriticGPT」

　OpenAIは27日、ChatGPTの間違いを見つけるためのAIモデル「CriticGPT」を発表した。ChatGPTと同様にGPT-4をベースに構築されている。

　ChatGPTのベースとなるGPT-4シリーズのAIモデルは、RLHF(Reinforcement Learning from Human Feedback、人間のフィードバックによる強化学習)と呼ばれる手法で構築されており、モデルが出力する回答を人間のトレーナーが比較/評価することで調整していく。しかし、推論性能やモデルが改善し、回答精度が高まるにつれて、間違いがより微妙なものとなり、人間では見つけるのが困難になっていく。これはRLHFという手法の限界だという。

　そこで、ChatGPTの間違った回答を指摘するするためのAIとして、CriticGPTを構築。CriticGPTの出力は必ずしも正しいとは限らないが、人間のトレーナーがCriticGPTの支援を受けながら作業することで、間違いを見つけ出す精度を高められるという。コードレビューの場合では、CriticGPTを使わない場合に比べて、60%高いパフォーマンスが得られたという。

　CriticGPTは、ChatGPTと同様にRLHFでトレーニングされているが、学習データとして間違いを含むデータを使用している。具体的には、ChatGPTが書いたコードに人間のトレーナーが手動で間違いを足して、その間違いを見つけた際のフィードバックのサンプルを用意。実際にAIモデルにフィードバックさせて、同じトレーナーが正しく指摘できているかを比較/評価していったという。