Artificial Analysis, 데이터셋 축소와 새로운 공개 세트를 포함한 AA-Omniscience v1.1 세부 정보 공개

Artificial Analysis는 지식 및 환각 벤치마크인 AA-Omniscience v1.1의 세부 정보를 공개했습니다. 이 벤치마크는 10월 27일 Intelligence Index v5의 일부로 업데이트됐습니다. Net Score는 정답에 점수를 주고 오답에는 감점하며, 답변을 거부하면 중립으로 처리합니다.

Artificial Analysis에 따르면 변경 사항은 다음과 같습니다.

• 비공개 데이터셋이 질문 6,000개에서 3,000개로 줄었습니다. 공개된 질문과 포화된 질문을 제거하고, 오류와 모호한 부분을 수정했으며, 새 질문을 추가했습니다. 질문은 여전히 6개 도메인과 42개 주제를 아우릅니다.
• 비공개 세트와 비슷한 난이도로 조정된 질문 300개의 새로운 공개 세트를 Hugging Face에서 이용할 수 있습니다. Net Score 기준 공개 점수와 비공개 점수의 상관계수는 0.99(Pearson 및 Spearman)라고 밝혔습니다.

자체 측정 결과:

• Gemini 4 Carbon (high)이 Net Score 54로 선두를 차지했고, Claude Opus 5.5(48)와 Claude Fable 5.1(46)이 뒤를 이었습니다. 오픈 웨이트 모델 중에서는 Muse Spark Open (xhigh)이 선두로, Gemini 4 Carbon보다 28점 낮았습니다.
• v1과 비교해 순위는 대체로 유지됐지만(Spearman 상관계수 0.98), 점수는 평균 약 1.9점 낮아졌습니다. MiniMax M3.1 Flash는 22점(16에서 -6으로), MiMo V2.6 Pro는 13점(8에서 -5로) 하락했습니다.
• Claude Fable 5.1은 정확도 68%로 가장 높았고, Claude Opus 5.5는 66%였습니다. Gemini 4 Argon (high)은 환각률이 4%로 가장 낮았습니다. 환각률 중앙값은 1.4포인트 하락했습니다.