OpenAI、日常的なパーソナルアシスタント業務を測るベンチマーク「LifeVal」を発表

OpenAIによると、数千人のChatGPTユーザーから、パーソナルアシスタントに最も手助けしてほしいことについて寄せられた意見をもとに、新たなベンチマーク「LifeVal」を構築したという。課題は、保育サービス探しから行政サービスの利用、個人の家計管理まで多岐にわたる。

OpenAIによると、American Time Use SurveyとMultinational Time Use Studyという2つの時間利用調査を起点に、さらに3,995人を対象とする独自の人口統計学的代表性を備えた調査を加えた。こうして作成された課題は、介護・育児、健康、教育、家庭の事務、個人の家計、買い物、行政サービスを対象としており、回答するだけでなく、予約や注文といった行動を伴うものも多い。

OpenAIは、過去1年間にわたりLifeValを使って、ブラウザー操作、コンピューター操作、コネクター関連のタスクにおけるモデルの性能を追跡し、改善してきたという。個別の課題で記録したGPT-6 Astraの最高スコアとして、幼児向け感覚遊び教室の予約と、予算内でのハラール食材の注文で100%、糖尿病と新たに診断された親向けの食事の作り置き計画で90.4%を報告している。これらはOpenAI独自の数値だ。