OpenAI introduceert LifeVal, een benchmark voor alledaagse taken van persoonlijke assistenten

OpenAI zegt LifeVal te hebben ontwikkeld, een nieuwe benchmark die is gevormd op basis van feedback van duizenden ChatGPT-gebruikers over waarbij ze het liefst hulp van een persoonlijke assistent krijgen. De taken lopen uiteen van kinderopvang vinden tot toegang krijgen tot overheidsdiensten en persoonlijke financiën beheren.

OpenAI zegt te zijn begonnen met twee tijdsbestedingsonderzoeken, de American Time Use Survey en de Multinational Time Use Study, en daar een eigen demografisch representatieve enquête onder 3.995 respondenten aan te hebben toegevoegd. De resulterende taken bestrijken zorgverlening, gezondheid, onderwijs, huishoudelijke administratie, persoonlijke financiën, winkelen en overheidsdiensten. Veel taken omvatten het uitvoeren van handelingen, zoals boeken of bestellen, en niet alleen het geven van antwoorden.

OpenAI zegt LifeVal het afgelopen jaar te hebben gebruikt om de prestaties van zijn modellen bij browsergebruik, computergebruik en connectoropdrachten te volgen en te verbeteren. Het meldt de hoogste geregistreerde GPT-6 Astra-scores op afzonderlijke taken, zoals 100% voor het boeken van een sensorische les voor een peuter en het bestellen van halalboodschappen binnen een budget, en 90,4% voor een maaltijdplan voor een ouder die onlangs de diagnose diabetes heeft gekregen. Dit zijn cijfers van OpenAI zelf.