OpenAI представляет LifeVal — бенчмарк повседневных задач персонального помощника

OpenAI сообщает, что создала LifeVal — новый бенчмарк, сформированный на основе отзывов тысяч пользователей ChatGPT о том, в каких вопросах им больше всего нужна помощь персонального помощника. Задачи охватывают широкий круг тем: от поиска услуг по уходу за детьми до доступа к государственным услугам и управления личными финансами.

По словам OpenAI, компания взяла за основу два исследования использования времени — American Time Use Survey и Multinational Time Use Study — и дополнила их собственным демографически репрезентативным опросом 3 995 респондентов. В итоге получились задачи, связанные с уходом за близкими, здоровьем, образованием, ведением домашних дел, личными финансами, покупками и государственными услугами. Многие из них требуют совершать действия — например, бронировать или заказывать, — а не просто отвечать на вопросы.

OpenAI утверждает, что в течение последнего года использовала LifeVal для отслеживания и улучшения моделей в задачах работы с браузером, компьютером и коннекторами. Компания сообщает о лучших зафиксированных результатах GPT-6 Astra в отдельных задачах: например, 100% за бронирование сенсорных занятий для малыша и заказ халяльных продуктов в рамках бюджета, а также 90,4% за составление плана приготовления еды для родителя, которому недавно диагностировали диабет. Это собственные данные OpenAI.