OpenAI przedstawia LifeVal — benchmark codziennych zadań osobistego asystenta

OpenAI informuje, że stworzyło LifeVal, nowy benchmark opracowany na podstawie opinii tysięcy użytkowników ChatGPT o tym, w jakich sprawach najbardziej chcieliby uzyskać pomoc osobistego asystenta. Zadania obejmują zarówno znalezienie opieki nad dzieckiem, jak i dostęp do usług publicznych czy zarządzanie finansami osobistymi.

OpenAI twierdzi, że punktem wyjścia były dwa badania wykorzystania czasu: American Time Use Survey i Multinational Time Use Study. Firma dodała też własną, reprezentatywną demograficznie ankietę przeprowadzoną wśród 3 995 respondentów. Zadania obejmują opiekę, zdrowie, edukację, prowadzenie gospodarstwa domowego, finanse osobiste, zakupy i usługi publiczne. Wiele z nich wymaga podjęcia konkretnych działań, takich jak rezerwacja lub złożenie zamówienia, a nie tylko udzielenia odpowiedzi.

OpenAI informuje, że przez ostatni rok korzystało z LifeVal do śledzenia i ulepszania swoich modeli w zakresie obsługi przeglądarki i komputera oraz zadań wykorzystujących konektory. Firma podaje najwyższe odnotowane wyniki GPT-6 Astra w poszczególnych zadaniach: 100% przy rezerwacji zajęć sensorycznych dla małego dziecka i zamówieniu halalowskich produktów spożywczych w ramach budżetu oraz 90,4% przy opracowaniu planu przygotowywania posiłków dla rodzica, u którego niedawno zdiagnozowano cukrzycę. Są to dane własne OpenAI.