Perplexity merilis pplx-embed-v2-context, model embedding visi-bahasa berbobot terbuka berukuran 9B dan 0.6B

Perplexity merilis pplx-embed-v2-context, dua model embedding visi-bahasa berbobot terbuka (9B dan 0.6B) di Hugging Face, beserta makalah yang ditulis bersama turbopuffer. Keduanya menghasilkan satu vektor int8 per dokumen, atau satu vektor per chunk yang mencakup seluruh dokumen, dan juga dapat berjalan dalam mode nonkontekstual dengan satu embedding per dokumen tanpa pembagian menjadi chunk.

Perplexity mengatakan model ini dilatih dengan cara berbeda dari model embedding kontekstual lainnya: skor relevansi tingkat chunk didistilasi dari model kompresi konteks yang memahami kueri dalam pipeline jawabannya, alih-alih menggunakan satu chunk acuan untuk tiap kueri. Dengan demikian, chunk pendukung tidak lagi diperlakukan sebagai contoh negatif.

Berikut hasil menurut Perplexity sendiri:

• Model 9B unggul di ConTEB dan dua benchmark baru, context-bench dan Q2D-Chunk. Q2D-Chunk dibuat dari lalu lintas pencarian Perplexity yang sebenarnya (6.069 kueri, 10 bahasa, 71.100 dokumen) dan memberi label pada chunk jawaban serta bukti yang diperlukan untuk memverifikasinya. Perplexity menerbitkan papan peringkat untuk benchmark ini.
• Pada markdown ViDoRe-V3, model 0.6B merupakan yang terkuat di antara model di bawah 1B, baik dengan chunk maupun tanpa chunk. Model 9B kontekstual dengan chunk 128 token berada di posisi kedua, hanya di bawah voyage-context-4.
• Model 9B hanya dilatih dengan teks, tetapi Perplexity mengatakan model ini mengungguli sistem dense retrieval terkemuka pada dokumen visual. Dengan dua embedding berdimensi 1024 per halaman, model ini mengungguli Nemotron-3.5-Embed-8B di ViDoRe-V3 dengan indeks empat kali lebih kecil.