Artificial Analysis: 서버리스 엔드포인트 거의 4곳 중 1곳, Endpoint Accuracy Index v1.1에서 기준 점수 미달

Artificial Analysis가 Endpoint Accuracy Index v1.1을 공개했다. 이 지수는 오픈 웨이트 모델의 각 서버리스 엔드포인트를 공식 가중치로 자체 호스팅한 기준 배포와 비교해 백분율 점수로 평가한다. 점수에는 도구 호출(BFCL-500), 과학적 추론(HLE-250), 장문 맥락 회상(AA-LCR-25)이 동일한 비중으로 반영된다. 벤치마크 대상인 100개가 넘는 엔드포인트 가운데 거의 4곳 중 1곳이 기준 점수보다 낮다고 밝혔다.

Artificial Analysis에 따르면 v1.1에서 바뀐 점은 다음과 같다.

• AA-LCR-25가 AA-LCR v1.1로 바뀌었다. 정답 키 오류를 수정하고 채점 모델을 GPT-5.6 Luna (medium)로 변경했다. 이제 각 질문을 10회가 아닌 25회 실행해, 95% 신뢰구간 평균 폭이 ±4.7점에서 ±2.6점으로 줄었다.
• 평가 대상이 6개 모델로 늘었다. DeepSeek V4.1 Flash 1017 (max), GLM-5.3 (max), Kimi K3 (max), gpt-oss-120b (high)에 GLM-5.3 Flash (max)와 Meta의 Muse Spark Open (xhigh)이 추가됐다.

주요 결과:

• GLM-5.3 Flash: 엔드포인트 22개 중 16개는 통계적으로 기준 배포와 비슷한 수준이며, 하나는 기준을 넘어서는 점수(104.2)를 기록했다. 출력 토큰이 약 32K로 제한된 엔드포인트 2개는 HLE-250 답변의 약 절반이 중간에 잘렸으며, 기준 배포의 55%와 비교해 각각 22%, 29%를 기록했다. 나머지 2개는 추론 토큰이 약 30% 적게 생성됐으며 점수는 48%였다.
• Muse Spark Open: 엔드포인트 5개 중 3개가 기준 배포와 비슷한 점수(99.5~99.9)를 기록했으며, 그중 하나는 FP4 가중치를 제공한다. 나머지 2개는 도구 호출에서만 정확도가 떨어졌다. 도구에서 텍스트로 정의한 인수(예: 예약 ID)를 숫자로 반환했으며, BFCL-500 점수는 기준 배포의 59%에 비해 각각 50%, 51%였다.
• GLM-5.3: 엔드포인트 26개의 점수는 67.2~99.3이었다. 16개는 기준 배포와 비슷한 수준이고 10개는 기준보다 낮았다. Artificial Analysis는 가장 큰 격차의 원인으로 출력 토큰 제한과 추론 루프를 들었으며, 양자화는 원인이 아니라고 밝혔다. FP4 엔드포인트 6개 중 5개가 FP8 기준 배포와 비슷한 수준이었다.
• DeepSeek V4.1 Flash 1017: 엔드포인트 22개 모두 기준 배포와 비슷한 수준(97.5~101.4)이었다. 점수 범위가 3.9점으로, 지수에서 가장 일관성이 높은 모델이다.