Perplexity выпускает pplx-embed-v2-context — мультимодальные модели эмбеддингов с открытыми весами размером 9B и 0.6B

Perplexity выпустила pplx-embed-v2-context — две мультимодальные модели эмбеддингов с открытыми весами (9B и 0.6B) на Hugging Face, вместе с научной статьёй, написанной совместно с turbopuffer. Каждая модель возвращает один вектор int8 на документ либо один вектор на фрагмент, учитывающий весь документ. Обе также работают в неконтекстном режиме — с одним эмбеддингом на документ и без разбиения на фрагменты.

По словам Perplexity, модели обучались не так, как другие контекстные модели эмбеддингов: оценки релевантности фрагментов дистиллируются из модели сжатия контекста с учётом запроса, используемой в конвейере формирования ответов, а не из одного эталонного фрагмента на запрос. Поэтому фрагменты, содержащие подтверждающую информацию, больше не считаются негативными примерами.

Ниже — результаты, опубликованные самой Perplexity:

• Модель 9B лидирует в ConTEB и двух новых бенчмарках — context-bench и Q2D-Chunk. Q2D-Chunk создан на основе реального поискового трафика Perplexity (6 069 запросов, 10 языков, 71 100 документов); в нём размечены как фрагменты с ответами, так и свидетельства, необходимые для их проверки. Perplexity опубликовала таблицу лидеров для этого бенчмарка.
• На markdown-наборе ViDoRe-V3 модель 0.6B — сильнейшая среди моделей меньше 1B, как при разбиении на фрагменты, так и без него. Контекстная модель 9B с фрагментами по 128 токенов уступает только voyage-context-4.
• Модель 9B обучалась только на текстовых данных, однако, по словам Perplexity, превосходит ведущие плотные ретриверы при работе с визуальными документами. Используя по два эмбеддинга размерности 1024 на страницу, она превосходит Nemotron-3.5-Embed-8B на ViDoRe-V3 при размере индекса в четыре раза меньше.