Perplexity, 9B ve 0.6B boyutlarında açık ağırlıklı görsel-dil gömme modelleri pplx-embed-v2-context’i piyasaya sürdü

Perplexity, Hugging Face’te iki açık ağırlıklı görsel-dil gömme modeli (9B ve 0.6B) olan pplx-embed-v2-context’i, turbopuffer ile birlikte yazdığı bir makaleyle yayımladı. Her iki model de belge başına bir int8 vektör veya belgenin tamamını gören parça başına bir vektör döndürüyor; ayrıca ikisi de belge başına tek gömme ve parçalama olmadan bağlamsal olmayan modda çalışabiliyor.

Perplexity, modelleri diğer bağlamsal gömme modellerinden farklı biçimde eğittiğini söylüyor: Parça düzeyindeki ilgi puanları, her sorgu için tek bir doğru parçadan değil, yanıt hattındaki sorgu farkındalıklı bağlam sıkıştırma modelinden damıtılıyor. Böylece destekleyici parçalar artık negatif örnekler olarak değerlendirilmiyor.

Aşağıdaki sonuçlar Perplexity’nin kendi sonuçlarıdır:

• 9B, ConTEB ve iki yeni kıyaslamada (context-bench ve Q2D-Chunk) önde. Q2D-Chunk, gerçek Perplexity arama trafiğinden (6.069 sorgu, 10 dil, 71.100 belge) oluşturuldu ve hem yanıt parçalarını hem de bunları doğrulamak için gereken kanıtları etiketliyor. Perplexity bu kıyaslama için bir liderlik tablosu yayımladı.
• ViDoRe-V3 markdown testinde 0.6B, parçalı veya parçalanmamış kullanımda 1B altındaki en güçlü model. 128 tokenlık parçalar kullanan bağlamsal 9B ise yalnızca voyage-context-4’ün gerisinde.
• 9B yalnızca metinle eğitildi; buna rağmen Perplexity, görsel belgelerde önde gelen yoğun erişim modellerinden daha iyi performans gösterdiğini söylüyor. Sayfa başına iki adet 1024 boyutlu gömme kullanıldığında, dört kat daha küçük bir dizinle ViDoRe-V3’te Nemotron-3.5-Embed-8B’yi geçiyor.