Perplexity veröffentlicht pplx-embed-v2-context: Open-Weight-Modelle für Vision-Language-Embeddings mit 9B und 0,6B

Perplexity hat pplx-embed-v2-context veröffentlicht, zwei Open-Weight-Modelle für Vision-Language-Embeddings (9B und 0,6B) auf Hugging Face, zusammen mit einem Paper, das mit turbopuffer verfasst wurde. Beide geben pro Dokument einen int8-Vektor zurück oder einen pro Chunk, der das gesamte Dokument berücksichtigt. Außerdem laufen beide in einem nicht-kontextuellen Modus mit einem Embedding pro Dokument und ohne Chunking.

Perplexity zufolge wurden die Modelle anders trainiert als andere kontextuelle Embedding-Modelle: Relevanzwerte auf Chunk-Ebene werden aus einem abfragebewussten Kontextkompressionsmodell in der Answer-Pipeline destilliert, statt pro Abfrage einen einzigen Gold-Chunk zu verwenden. Dadurch werden unterstützende Chunks nicht länger als Negativbeispiele behandelt.

Die folgenden Ergebnisse stammen von Perplexity selbst:

• Das 9B-Modell führt ConTEB und zwei neue Benchmarks an: context-bench und Q2D-Chunk. Q2D-Chunk basiert auf echtem Perplexity-Suchverkehr (6.069 Abfragen, 10 Sprachen, 71.100 Dokumente) und kennzeichnet sowohl Antwort-Chunks als auch die Belege, die zu ihrer Überprüfung benötigt werden. Perplexity hat dafür eine Rangliste veröffentlicht.
• Bei ViDoRe-V3 markdown ist das 0,6B-Modell das stärkste Modell unter 1B, sowohl mit als auch ohne Chunking. Das kontextuelle 9B-Modell mit 128-Token-Chunks liegt nur hinter voyage-context-4.
• Das 9B-Modell wurde ausschließlich mit Text trainiert. Perplexity zufolge übertrifft es dennoch die führenden Dense Retriever bei visuellen Dokumenten. Mit zwei 1024-dimensionalen Embeddings pro Seite schlägt es Nemotron-3.5-Embed-8B auf ViDoRe-V3 – mit einem viermal kleineren Index.