OpenAI lance LifeVal, un benchmark de tâches quotidiennes d’assistant personnel

OpenAI affirme avoir créé LifeVal, un nouveau benchmark élaboré à partir des retours de milliers d’utilisateurs de ChatGPT sur les domaines où ils souhaitent le plus obtenir l’aide d’un assistant personnel. Les tâches vont de la recherche d’une solution de garde d’enfants à l’accès aux services publics et à la gestion des finances personnelles.

OpenAI indique être parti de deux études sur l’emploi du temps, l’American Time Use Survey et la Multinational Time Use Study, auxquelles il a ajouté sa propre enquête, représentative sur le plan démographique, auprès de 3 995 personnes. Les tâches qui en résultent couvrent les soins aux proches, la santé, l’éducation, la gestion du foyer, les finances personnelles, les achats et les services publics. Beaucoup impliquent d’effectuer des démarches, comme réserver ou commander, et pas seulement de répondre à des questions.

OpenAI affirme utiliser LifeVal depuis un an pour suivre et améliorer ses modèles dans les tâches liées à la navigation sur le Web, à l’utilisation d’un ordinateur et aux connecteurs. L’entreprise rapporte les meilleurs scores jamais enregistrés par GPT-6 Astra sur certaines tâches, notamment 100 % pour réserver un cours sensoriel pour un tout-petit et commander des produits alimentaires halal dans les limites d’un budget, et 90,4 % pour élaborer un plan de préparation des repas destiné à un parent récemment diagnostiqué diabétique. Il s’agit de chiffres communiqués par OpenAI.