Perplexity lance pplx-embed-v2-context, des modèles d’embeddings vision-langage à poids ouverts de 9B et 0.6B

Perplexity a lancé pplx-embed-v2-context, deux modèles d’embeddings vision-langage à poids ouverts (9B et 0.6B) sur Hugging Face, accompagnés d’un article rédigé avec turbopuffer. Les deux renvoient un vecteur int8 par document, ou un vecteur par segment qui a accès à l’ensemble du document, et fonctionnent aussi en mode non contextuel, avec un seul embedding par document et sans segmentation.

Perplexity affirme les avoir entraînés différemment des autres modèles d’embeddings contextuels : les scores de pertinence au niveau des segments sont distillés à partir d’un modèle de compression contextuelle tenant compte des requêtes, utilisé dans son pipeline de réponses, plutôt qu’à partir d’un unique segment de référence par requête. Les segments pertinents ne sont donc plus considérés comme des négatifs.

Voici les résultats publiés par Perplexity :

• Le modèle 9B arrive en tête sur ConTEB et deux nouveaux benchmarks, context-bench et Q2D-Chunk. Q2D-Chunk est constitué de données réelles du trafic de recherche de Perplexity (6 069 requêtes, 10 langues, 71 100 documents) et identifie à la fois les segments de réponse et les éléments de preuve nécessaires à leur vérification. Perplexity a publié un classement pour ce benchmark.
• Sur ViDoRe-V3 markdown, le modèle 0.6B est le plus performant parmi les modèles de moins de 1B, avec ou sans segmentation. Le modèle contextuel 9B avec des segments de 128 tokens arrive en deuxième position, derrière voyage-context-4.
• Le modèle 9B a été entraîné uniquement sur du texte, mais Perplexity affirme qu’il surpasse les principaux modèles de recherche dense sur les documents visuels. Avec deux embeddings de dimension 1024 par page, il dépasse Nemotron-3.5-Embed-8B sur ViDoRe-V3 avec un index quatre fois plus petit.