OpenAI presenta LifeVal, un benchmark di attività quotidiane per assistenti personali

OpenAI afferma di aver creato LifeVal, un nuovo benchmark basato sui feedback di migliaia di utenti di ChatGPT su ciò per cui desiderano maggiormente l’aiuto di un assistente personale. Le attività spaziano dalla ricerca di servizi per l’infanzia all’accesso ai servizi pubblici e alla gestione delle finanze personali.

OpenAI afferma di aver preso le mosse da due studi sull’impiego del tempo, l’American Time Use Survey e il Multinational Time Use Study, aggiungendo poi un proprio sondaggio demograficamente rappresentativo condotto su 3.995 intervistati. Le attività risultanti riguardano assistenza, salute, istruzione, gestione domestica, finanze personali, acquisti e servizi pubblici; molte prevedono di compiere azioni, come prenotare o ordinare, e non solo di fornire risposte.

OpenAI afferma di aver usato LifeVal nell’ultimo anno per monitorare e migliorare i propri modelli nell’uso del browser, del computer e delle attività con connettori. Riporta i migliori punteggi mai registrati da GPT-6 Astra in singole attività, come il 100% per prenotare un corso sensoriale per un bimbo piccolo e ordinare generi alimentari halal rispettando un budget, e il 90,4% per preparare un piano di pasti per un genitore a cui è stato appena diagnosticato il diabete. Si tratta di dati forniti da OpenAI stessa.