Artificial Analysis ra mắt Code2Video-AA, bộ benchmark video marketing được tạo bằng mã

Artificial Analysis giới thiệu Code2Video-AA, bản triển khai riêng của Code2Video Bench của HeyGen, được xây dựng cùng HeyGen. Các mô hình nhận 114 đề bài về marketing sản phẩm và thương hiệu, và phải trả lời mỗi đề bài bằng một bố cục HTML HyperFrames trong một lượt phản hồi duy nhất, không dùng công cụ; bố cục này được kết xuất thành video mà không có quyền truy cập mạng. Một mô hình giám khảo (Gemini 4 Argon, high) so sánh từng cặp video dựa trên mức độ thu hút, ý định của prompt, bố cục, tính nhất quán theo thời gian và độ hoàn thiện; điểm Elo trên năm trục được lấy trung bình để tạo thành điểm tổng. Hơn 35.000 lượt đánh giá xếp hạng 27 mô hình. Đây là kết quả riêng của Artificial Analysis.

Kết quả được báo cáo:

• Claude Opus 5.5 (max with fallback) dẫn đầu với 1536 Elo, cao hơn các mô hình kế tiếp 93 điểm và đứng đầu cả năm trục, với khoảng cách lớn nhất ở độ hoàn thiện. Chi phí là $3.08 cho mỗi tác vụ.
• Claude Sonnet 5.5 (1443) và GPT-6 Astra (1427) đồng hạng nhì về mặt thống kê.
• GPT-6.1 Sol (max) đứng thứ tư với 1369 điểm và chi phí $0.31 cho mỗi tác vụ, bằng khoảng một phần mười chi phí của Opus 5.5. Chi phí mỗi tác vụ giữa các mô hình dao động từ $0.01 đến $3.89, và tám mô hình nằm trên đường biên Pareto về Elo so với chi phí.
• Các mô hình có trọng số mở kém ít nhất 483 điểm: DeepSeek V4.1 Flash (max, 1053), MiMo-V2.6-Flash (1052) và MiMo-V2.6-Pro (1052) là những mô hình dẫn đầu nhóm, với chi phí từ $0.01 đến $0.08 cho mỗi tác vụ.