Perplexity ra mắt pplx-embed-v2-context, các mô hình embedding thị giác-ngôn ngữ có trọng số mở với kích thước 9B và 0.6B

Perplexity đã phát hành pplx-embed-v2-context, hai mô hình embedding thị giác-ngôn ngữ có trọng số mở (9B và 0.6B) trên Hugging Face, cùng một bài báo được viết với turbopuffer. Cả hai trả về một vector int8 cho mỗi tài liệu, hoặc một vector cho mỗi đoạn có thể truy cập toàn bộ tài liệu; đồng thời, cả hai cũng chạy ở chế độ không có ngữ cảnh, với một embedding cho mỗi tài liệu và không chia đoạn.

Perplexity cho biết họ huấn luyện các mô hình này khác với những mô hình embedding có ngữ cảnh khác: điểm mức độ liên quan của từng đoạn được chưng cất từ một mô hình nén ngữ cảnh có nhận biết truy vấn trong quy trình trả lời, thay vì chỉ định một đoạn chuẩn cho mỗi truy vấn, nhờ đó các đoạn hỗ trợ không còn bị xem là mẫu âm.

Dưới đây là kết quả do chính Perplexity công bố:

• Bản 9B dẫn đầu ConTEB và hai benchmark mới là context-bench và Q2D-Chunk. Q2D-Chunk được xây dựng từ lưu lượng tìm kiếm thực tế của Perplexity (6.069 truy vấn, 10 ngôn ngữ, 71.100 tài liệu) và gắn nhãn cả các đoạn chứa câu trả lời lẫn bằng chứng cần thiết để xác minh chúng. Perplexity đã công bố bảng xếp hạng cho benchmark này.
• Trên dữ liệu markdown của ViDoRe-V3, bản 0.6B là mô hình mạnh nhất dưới 1B, dù có chia đoạn hay không. Bản 9B có ngữ cảnh với các đoạn 128 token chỉ đứng sau voyage-context-4.
• Bản 9B chỉ được huấn luyện trên văn bản, nhưng Perplexity cho biết nó vượt trội hơn các mô hình truy hồi dense hàng đầu trên tài liệu trực quan. Với hai embedding 1024 chiều cho mỗi trang, nó đánh bại Nemotron-3.5-Embed-8B trên ViDoRe-V3 với chỉ mục nhỏ hơn bốn lần.