Artificial Analysis, API 성능 벤치마크의 대표 지표로 Time per Task를 내세워

Artificial Analysis는 API 성능 벤치마크의 새 버전을 발표했습니다. 이 벤치마크는 속도, 지연 시간, 캐싱을 측정하기 위해 하루에 여러 차례 테스트하는 약 1,000개의 서버리스 엔드포인트를 다룹니다. 모델이 작업을 완료하는 데 걸리는 시간인 Time per Task가 대표 지표로서 스트리밍 속도를 대체합니다. Artificial Analysis는 Intelligence Index 작업당 모델의 출력 토큰 수를 End-to-End Output Speed로 나눠 계산합니다.

변경 사항은 다음과 같습니다.

• End-to-End Output Speed는 요청을 보낸 시점부터 마지막 토큰까지 측정하므로, 첫 토큰이 나오기 전 대기 시간(프리필 및 숨겨진 추론)도 포함됩니다. 출력 토큰 수는 o200k_base 토크나이저 대신 각 제공업체 API가 보고한 값을 사용합니다. 답변에서 실패한 요청은 이제 속도 0으로 계산한다고 덧붙였습니다.
• 에이전트형 워크로드가 모든 측정에 포함됩니다. 짧은 프롬프트, 문서 길이의 프롬프트, 긴 컨텍스트 프롬프트와 여러 차례 대화가 이어지는 코딩 및 지식 노동 세션을 측정합니다. 대표 수치는 최근 5일간의 평균입니다.
• API 기본 추론 강도는 최고 추론 강도와 함께 벤치마크하며, 추론 강도 명칭은 업체마다 비교할 수 없으므로 각 연구소의 자체 기본값을 사용합니다.

Artificial Analysis의 분석 결과:

• Intelligence와 Time per Task 간 파레토 프런티어에는 OpenAI 모델이 대부분을 차지합니다. 최대 추론 강도에서 GPT-6 Astra는 초당 51토큰으로 실행되지만 작업 완료에는 약 17분이 걸립니다. Claude Opus 5.5(초당 111토큰)는 약 26분, Gemini 4 Carbon(초당 71토큰)은 약 29분이 걸립니다. GPT-6 Astra는 작업당 출력 토큰을 약 5만 개 사용하는 반면, 나머지 두 모델은 약 12만~17만 개를 사용하기 때문입니다.
• 기본 추론 강도를 사용하면 GPT-6 Astra, GPT-6.1 Sol, Claude Opus 5.5의 Time per Task는 약 3~5배, Cost per Task는 약 2~4배 줄어듭니다. 세 모델 모두 기본 추론 강도가 중간 수준이며, 그 대가로 Intelligence Index 점수가 약 5~11점 낮아집니다. Claude Opus 5.5는 최대 추론 강도에서 작업당 약 26분, 10.04달러가 들지만, 중간 추론 강도에서는 약 6.8분, 2.45달러로 줄어듭니다.
• 디코딩 속도만 높이도록 조정된 엔드포인트는 End-to-End Output Speed가 가장 크게 떨어집니다. Artificial Analysis에 따르면 스트리밍 속도가 가장 빠른 GLM-5.3 엔드포인트도 첫 토큰이 나오기까지 18~26초가 걸립니다.

이는 Artificial Analysis가 자체적으로 측정한 결과입니다.