Perplexity 推出 pplx-embed-v2-context:9B 與 0.6B 開放權重視覺語言嵌入模型
Perplexity 在 Hugging Face 發布了 pplx-embed-v2-context,這是兩款開放權重視覺語言嵌入模型(9B 和 0.6B),並與 turbopuffer 共同撰寫了一篇論文。兩款模型都會為每份文件輸出一個 int8 向量,或為每個可讀取整份文件的區塊各輸出一個向量;兩者也都能以非情境模式執行,每份文件產生一個嵌入向量,不進行分塊。
Perplexity 表示,其訓練方式有別於其他情境式嵌入模型:區塊層級的相關性分數,是從其答案流程中的查詢感知情境壓縮模型蒸餾而來,而非每個查詢只指定一個黃金區塊,因此不再將支援答案的區塊視為負例。
以下結果由 Perplexity 自行提供:
- 9B 在 ConTEB 及兩項新基準 context-bench 和 Q2D-Chunk 上居首。Q2D-Chunk 取材自 Perplexity 的真實搜尋流量(6,069 個查詢、10 種語言、71,100 份文件),並標註答案區塊以及驗證答案所需的證據。Perplexity 已為此發布排行榜。
- 在 ViDoRe-V3 markdown 上,無論是否分塊,0.6B 都是最強的 1B 以下模型。採用 128-token 區塊的情境式 9B,僅次於 voyage-context-4。
- 9B 僅以文字訓練,但 Perplexity 表示,它在視覺文件上的表現優於領先的稠密檢索器。每頁使用兩個 1024 維嵌入向量時,它在 ViDoRe-V3 上勝過 Nemotron-3.5-Embed-8B,索引大小則小四倍。
來源
這樣的新聞,第一時間推播給你。
你使用的 AI 工具一有變化,AI Tracker 就會通知你。