Epoch AI: 아직 어떤 모델도 개방형 업무 과제에서 직원 기준을 충족하지 못해; Fable 5.2가 82%로 선두, GPT-6.2 Astra는 65%로 4위
Epoch AI는 Epoch Automation Reports에서 GPT-6.2 Astra와 최근 출시된 다른 모델들을 테스트했습니다. 이 벤치마크는 Epoch식 다이어그램 작성부터 기본적인 연구 실험 설계까지, 정답이 정해져 있지 않은 Epoch의 업무 과제를 다룹니다. Epoch 직원이 각 결과물을 Epoch 직원에게 기대하는 품질 기준에 따라 평가하며, 100%면 기준을 충족한 것입니다.
Epoch에 따르면 모든 모델이 기준에 미치지 못했습니다. Claude Fable 5.2가 평균 82%로 가장 높은 점수를 받았고, GPT-6.2 Astra는 Fable 5.2와 같은 최고 ECI(Epoch Capabilities Index) 점수인 174를 기록했지만 65%로 4위에 올랐습니다. Epoch에 따르면 한 과제에서는 Fable 5.2와 Claude Opus 5.5 모두 계약직 직원 수준의 성과를 냈습니다.
점수는 Epoch 직원들이 자체적으로 평가한 Epoch의 결과입니다. 해당 게시물은 11월 18일 기준 X에서 224점을 받았습니다.
출처
이런 뉴스를 푸시로 받아보세요.
사용하는 도구에 변화가 생기면 AI Tracker가 알려드립니다.