OpenAI 推出 LifeVal:评测日常个人助理任务的基准
OpenAI 表示,LifeVal 是一项新基准,其设计参考了数千名 ChatGPT 用户的反馈,了解他们最希望个人助理在哪些方面提供帮助。任务范围从寻找儿童托管服务,到使用政府服务和管理个人财务。
OpenAI 表示,LifeVal 以两项时间利用率研究为基础:美国时间利用调查(American Time Use Survey)和多国时间利用研究(Multinational Time Use Study),并加入了对 3,995 名受访者开展的自有调查,受访者在人口统计特征上具有代表性。最终任务涵盖照护、健康、教育、家庭事务管理、个人财务、购物和政府服务;其中许多任务要求实际采取行动,例如预约或下单,而不只是回答问题。
OpenAI 表示,过去一年里,它一直使用 LifeVal 跟踪并改进模型在浏览器使用、电脑使用和连接器任务方面的表现。OpenAI 报告称,GPT-6 Astra 在单项任务中的最佳记录成绩包括:为幼儿预约感统课程、在预算内订购清真杂货,两项均为 100%;为一位新确诊糖尿病的家长制定备餐计划,则为 90.4%。这些数据均为 OpenAI 自行公布。
来源
- LifeValchatgpt
这样的新闻,第一时间推送给你。
你用的 AI 工具一有变化,AI Tracker 就会提醒你。