OpenAI apresenta o LifeVal, um benchmark de tarefas cotidianas de assistente pessoal

A OpenAI afirma ter criado o LifeVal, um novo benchmark moldado pelo feedback de milhares de usuários do ChatGPT sobre em que mais gostariam de receber ajuda de um assistente pessoal. As tarefas vão desde encontrar serviços de cuidado infantil até acessar serviços governamentais e administrar finanças pessoais.

A OpenAI diz que partiu de dois estudos sobre uso do tempo — o American Time Use Survey e o Multinational Time Use Study — e acrescentou sua própria pesquisa demograficamente representativa, com 3.995 entrevistados. As tarefas resultantes abrangem cuidados, saúde, educação, administração doméstica, finanças pessoais, compras e serviços governamentais, e muitas envolvem realizar ações, como fazer reservas ou pedidos, não apenas responder a perguntas.

A OpenAI afirma que usou o LifeVal no último ano para acompanhar e aprimorar seus modelos em tarefas de navegação na web, uso do computador e uso de conectores. A empresa informa suas melhores pontuações registradas do GPT-6 Astra em tarefas específicas, como 100% ao reservar uma aula de integração sensorial para uma criança pequena e pedir mantimentos halal dentro de um orçamento, e 90,4% ao criar um plano de preparo de refeições para um pai ou uma mãe recém-diagnosticado(a) com diabetes. Esses números são da própria OpenAI.