OpenAI、日常タスクのAI遂行能力を測る評価ベンチマーク「LifeVal」発表

　OpenAIは11月2日(米国時間)、AIモデルやパーソナルエージェントが日常生活の実務的な課題をどこまで支援できるかを測る評価ベンチマーク「LifeVal」を発表した。学術知識のテストにとどまらず、実際のタスク遂行能力を測定する。

　LifeValは、日常生活で人々がAIに支援を求める領域を対象とした評価フレームワーク。米国時間使用調査(ATUS)と多国籍時間使用調査(MTUS)のデータに加え、3,995人を対象にした独自調査を基に設計した。対象分野は子育て、介護、健康、教育、家庭管理、個人財務、ショッピング、行政サービスの利用など。

　評価では、ブラウザ利用やコンピュータ操作、コネクタ連携を伴うワークフローを扱う。OpenAIが示した例では、家族の条件に合う住宅の探索から不動産譲渡税の算出、権利書のカート追加までを行なうタスクで100%のスコアを記録した。

　ほかにも、水害対策ボランティアの組織化が98.0%、遠隔地の家族とのスポーツ観戦環境の構築が96.3%、引っ越し後の幼稚園選びが93.1%、糖尿病と診断された親のケア・食事計画が90.4%だった。これらは個別ワークフローの例であり、ベンチマーク全体の平均値ではない。

　OpenAIは、日常の判断や用事を支援し、実際の行動まで担えるAIの実現を目指すとしている。同社によると、LifeValは過去1年間にわたり日常タスクでのモデル性能の追跡と改善にも使われてきた。ChatGPTの週次利用者は10億人を超えており、同社は会話にとどまらないパーソナルアシスタントへの発展を掲げる。