「なぜAIは嘘をつくのか？」OpenAIが論文を公開

　OpenAIは9月5日、言語モデルで発生するハルシネーションの原因について研究結果を公開した。同社では、言語モデルで用いられる事前学習やベンチマークの手法に原因があるとしている。

　ハルシネーションは、言語モデルが生成する回答のうち、もっともらしく見えるが実際には誤っているものを指す。言語モデルの開発における重要な問題で、発生を抑えるための改良が進められている。同社では今回の研究を通じ、ハルシネーションが発生する要因として、事前学習の仕組みと、ベンチマークテストの評価手法を挙げた。

　言語モデルでは、膨大なテキストから次に続く単語を予想するプロセスを通じて事前学習を進めていく。この際、各テキストに正誤のようなラベルはなく、文脈的に正しいかを認識している。このとき、単語のつづりなど一貫したパターンのあるものは学習とともにエラーが発生しなくなるが、論文のタイトルや人の誕生日など、出現頻度の低い任意の情報は予測ができない。これがハルシネーションの原因となる。

　また、標準的なベンチマークテストではAIモデルの性能を正解率の高さで評価することが多い。しかしこの場合、AIモデルが分からないことを「分からない」と答えると評価されないが、推測でそれっぽく答えるとたまたま正解してしまうことがある(誤った場合はハルシネーションになる)。その結果、正直に分からないと答えるより、当てずっぽうで答えるモデルの方がスコアが優位になってしまう現象が起きるという。

　同社では、ハルシネーションの抑制にはAIモデルが「分からない」と答えることが有効だと説明。ハルシネーションの評価手法を新たに導入するだけでは不十分であり、推測での回答を抑制するよう既存のベンチマークを再設計する必要があると指摘した。また、自社のモデルにおいてもハルシネーションの発生率を抑えるために尽力しているとアピールした。