Artificial Analysis: gần 1 trong 4 endpoint serverless đạt điểm thấp hơn phiên bản tham chiếu trên Endpoint Accuracy Index v1.1

Artificial Analysis đã phát hành phiên bản v1.1 của Endpoint Accuracy Index, chấm điểm từng endpoint serverless của một mô hình có trọng số mở theo tỷ lệ phần trăm so với bản triển khai tham chiếu tự lưu trữ của chính mô hình đó bằng trọng số chính thức. Điểm số đánh giá đồng đều khả năng gọi công cụ (BFCL-500), suy luận khoa học (HLE-250) và khả năng truy hồi ngữ cảnh dài (AA-LCR-25). Trong hơn 100 endpoint được chấm điểm, công ty cho biết gần 1 trong 4 endpoint có điểm thấp hơn phiên bản tham chiếu.

Theo Artificial Analysis, những thay đổi trong v1.1 gồm:

• AA-LCR-25 chuyển sang AA-LCR v1.1, phiên bản sửa lỗi trong đáp án chuẩn và chuyển sang dùng GPT-5.6 Luna (medium) để chấm điểm. Mỗi câu hỏi hiện được chạy 25 lần thay vì 10, giúp giảm khoảng tin cậy trung bình 95% từ ±4.7 xuống ±2.6 điểm.
• Phạm vi mở rộng lên sáu mô hình: GLM-5.3 Flash (max) và Muse Spark Open (xhigh) của Meta được bổ sung bên cạnh DeepSeek V4.1 Flash 1017 (max), GLM-5.3 (max), Kimi K3 (max) và gpt-oss-120b (high).

Các phát hiện:

• GLM-5.3 Flash: 16 trong số 22 endpoint có kết quả về mặt thống kê ngang với phiên bản tham chiếu và một endpoint đạt điểm cao hơn (104.2). Hai endpoint giới hạn đầu ra ở khoảng 32K token đã cắt cụt gần một nửa số câu trả lời HLE-250, đạt 22% và 29%, so với 55% của phiên bản tham chiếu. Hai endpoint khác tạo ra ít hơn khoảng 30% token suy luận và đạt 48%.
• Muse Spark Open: ba trong số năm endpoint ngang với phiên bản tham chiếu (99.5 đến 99.9), trong đó có một endpoint cung cấp trọng số FP4. Hai endpoint còn lại chỉ mất độ chính xác ở phần gọi công cụ: chúng trả về các đối số mà công cụ định nghĩa là văn bản, chẳng hạn mã đặt chỗ, dưới dạng số (đạt 50% và 51% trên BFCL-500, so với 59%).
• GLM-5.3: có 26 endpoint, đạt điểm từ 67.2 đến 99.3; 16 endpoint ngang với phiên bản tham chiếu và 10 endpoint thấp hơn. Artificial Analysis cho biết chênh lệch lớn nhất đến từ giới hạn số token đầu ra và vòng lặp suy luận, đồng thời khẳng định lượng tử hóa không phải là nguyên nhân: năm trong số sáu endpoint FP4 ngang với phiên bản tham chiếu FP8.
• DeepSeek V4.1 Flash 1017: cả 22 endpoint đều ngang với phiên bản tham chiếu (97.5 đến 101.4), với khoảng chênh lệch 3.9 điểm, khiến đây là mô hình ổn định nhất trong chỉ số.