OpenAI presenta LifeVal, un benchmark de tareas cotidianas de asistente personal

OpenAI afirma que creó LifeVal, un nuevo benchmark diseñado a partir de los comentarios de miles de usuarios de ChatGPT sobre las tareas para las que más desean la ayuda de un asistente personal. Las tareas abarcan desde encontrar servicios de cuidado infantil hasta acceder a servicios gubernamentales y gestionar las finanzas personales.

OpenAI afirma que partió de dos estudios sobre el uso del tiempo, la American Time Use Survey y el Multinational Time Use Study, y añadió una encuesta propia representativa desde el punto de vista demográfico, con 3,995 participantes. Las tareas resultantes abarcan cuidados, salud, educación, administración del hogar, finanzas personales, compras y servicios gubernamentales; muchas requieren realizar acciones, como reservar o hacer pedidos, y no solo responder preguntas.

OpenAI afirma que durante el último año ha utilizado LifeVal para hacer seguimiento y mejorar sus modelos en tareas de uso del navegador, uso del ordenador y conectores. La empresa informa de sus mejores puntuaciones registradas de GPT-6 Astra en tareas concretas: por ejemplo, un 100% al reservar una clase sensorial para un niño pequeño y pedir alimentos halal dentro de un presupuesto, y un 90.4% al elaborar un plan de preparación de comidas para un padre o una madre con un diagnóstico reciente de diabetes. Son cifras de la propia OpenAI.