Artificial Analysis chấm mô hình trọng số mở Nanbeige4.3-33B đạt 20 trên Intelligence Index, ngang bằng Qwen3.8 27B
Artificial Analysis cho biết Nanbeige4.3-33B, mô hình trọng số mở của Nanbeige (nhóm phát triển mô hình nền tảng thuộc nền tảng tuyển dụng Trung Quốc BOSS Zhipin), đạt 20 trên Intelligence Index v5, ngang bằng Qwen3.8 27B (xhigh). Cả hai đều là mô hình dense, có tổng cộng lần lượt 33B và 27B tham số. Artificial Analysis cho biết mô hình của Nanbeige sử dụng terminal tốt hơn nhưng có kiến thức yếu hơn, đồng thời tạo ra một điểm Pareto tối ưu mới xét theo Intelligence Index so với tổng số tham số.
Theo Artificial Analysis:
- Kiến thức: Trên AA-Omniscience v1.1, tỷ lệ ảo giác của mô hình là 18%, so với 29% của Qwen3.8 27B, nhờ trả lời có chọn lọc: tỷ lệ cố gắng trả lời là 29%, so với 43%. Qwen trả lời đúng nhiều câu hỏi hơn xét tổng thể: 17%, so với 12%.
- Token: Nanbeige4.3-33B sử dụng 158K token đầu ra cho mỗi tác vụ Intelligence Index, so với 110K của Qwen3.8 27B — nhiều hơn 44% để đạt cùng điểm số. Con số này tính cả token trả lời và suy luận trong chín bài đánh giá v5, bao gồm các lượt sử dụng công cụ theo kiểu tác tử.
Trọng số mô hình có trên Hugging Face. Đây là các phép đo riêng của Artificial Analysis; Nanbeige phát hành mô hình vào ngày 25 tháng 10.
Nguồn
Nhận tin như thế này qua thông báo đẩy.
AI Tracker báo cho bạn khi công cụ bạn dùng có thay đổi.