Perplexity udostępnia pplx-embed-v2-context — modele embeddingowe vision-language z otwartymi wagami w rozmiarach 9B i 0.6B

Perplexity udostępniło na Hugging Face pplx-embed-v2-context — dwa modele embeddingowe vision-language z otwartymi wagami (9B i 0.6B), wraz z artykułem napisanym we współpracy z turbopuffer. Każdy z nich zwraca jeden wektor int8 na dokument albo jeden na fragment, który uwzględnia cały dokument. Oba działają też w trybie bez kontekstu, zwracając jeden embedding na dokument i nie dzieląc go na fragmenty.

Perplexity twierdzi, że modele trenowano inaczej niż inne kontekstowe modele embeddingowe: oceny trafności na poziomie fragmentów są destylowane z modelu kompresji kontekstu uwzględniającego zapytanie, używanego w potoku generowania odpowiedzi, zamiast przypisywania jednego właściwego fragmentu do każdego zapytania. Dzięki temu fragmenty zawierające przydatne informacje nie są już traktowane jako negatywne przykłady.

Poniższe wyniki pochodzą od Perplexity:

• Model 9B zajmuje pierwsze miejsce w ConTEB i dwóch nowych benchmarkach: context-bench oraz Q2D-Chunk. Q2D-Chunk bazuje na rzeczywistym ruchu wyszukiwania w Perplexity (6 069 zapytań, 10 języków, 71 100 dokumentów) i oznacza zarówno fragmenty z odpowiedziami, jak i dowody potrzebne do ich weryfikacji. Perplexity opublikowało dla niego ranking.
• W benchmarku ViDoRe-V3 markdown model 0.6B jest najsilniejszym modelem poniżej 1B, niezależnie od tego, czy dokumenty są dzielone na fragmenty. Kontekstowy model 9B z fragmentami o długości 128 tokenów ustępuje tylko voyage-context-4.
• Model 9B trenowano wyłącznie na tekście, a mimo to — jak twierdzi Perplexity — przewyższa czołowe gęste retrievery w przypadku dokumentów wizualnych. Przy dwóch embeddingach o wymiarze 1024 na stronę osiąga lepszy wynik niż Nemotron-3.5-Embed-8B w ViDoRe-V3, korzystając z indeksu czterokrotnie mniejszego.