OpenAI 推出 LifeVal:衡量日常個人助理任務的基準測試
OpenAI 表示,LifeVal 是一項新的基準測試,根據數千名 ChatGPT 使用者對個人助理最希望在哪些方面獲得協助的回饋打造。任務範圍從尋找托育服務,到使用政府服務和管理個人財務。
OpenAI 表示,這項基準測試以兩項時間使用調查——美國時間使用調查(American Time Use Survey)和多國時間使用研究(Multinational Time Use Study)——為基礎,並加入一項由 OpenAI 自行進行、具人口統計代表性的調查,涵蓋 3,995 名受訪者。由此產生的任務涵蓋照護、健康、教育、家務管理、個人財務、購物和政府服務;其中許多任務需要採取行動,例如預訂或下單,而不只是回答問題。
OpenAI 表示,過去一年來一直使用 LifeVal 追蹤並改進其模型在瀏覽器操作、電腦操作和連接器任務上的表現。OpenAI 公布了 GPT-6 Astra 在個別任務上的最佳紀錄分數,例如,為幼兒預訂感覺統合課程和在預算內訂購清真食品,得分均為 100%;為新確診糖尿病的家長規劃備餐計畫,得分為 90.4%。這些數字是 OpenAI 自行公布的。
來源
- LifeValchatgpt
這樣的新聞,第一時間推播給你。
你使用的 AI 工具一有變化,AI Tracker 就會通知你。