OpenAI, 일상적인 개인 비서 업무를 평가하는 벤치마크 LifeVal 공개

OpenAI는 수천 명의 ChatGPT 사용자가 개인 비서의 도움을 가장 필요로 하는 분야에 관한 피드백을 바탕으로 새로운 벤치마크 LifeVal을 만들었다고 밝혔습니다. 과제는 보육 서비스 찾기부터 정부 서비스 이용, 개인 재정 관리까지 다양합니다.

OpenAI는 미국 시간 사용 조사(American Time Use Survey)와 다국가 시간 사용 조사(Multinational Time Use Study)라는 두 가지 시간 사용 연구를 바탕으로, 인구통계학적으로 대표성 있는 응답자 3,995명을 대상으로 자체 설문조사를 추가했다고 밝혔습니다. 이렇게 구성된 과제는 돌봄, 건강, 교육, 가사 관리, 개인 재정, 쇼핑, 정부 서비스 등을 다루며, 답변만 하는 것이 아니라 예약이나 주문처럼 실제 행동을 수행하는 과제도 많습니다.

OpenAI는 지난 1년간 브라우저 사용, 컴퓨터 사용, 커넥터 관련 과제에서 모델을 추적하고 개선하는 데 LifeVal을 활용했다고 밝혔습니다. OpenAI가 기록한 GPT-6 Astra의 최고 점수는 개별 과제 기준으로, 유아 감각 발달 수업 예약과 예산에 맞춘 할랄 식료품 주문에서 100%, 당뇨병을 새로 진단받은 부모를 위한 식사 준비 계획에서 90.4%였습니다. 이는 OpenAI가 자체적으로 공개한 수치입니다.