Perplexity, 9B 및 0.6B 규모의 오픈 웨이트 비전-언어 임베딩 모델 pplx-embed-v2-context 출시

Perplexity가 Hugging Face에 오픈 웨이트 비전-언어 임베딩 모델 pplx-embed-v2-context 두 종(9B 및 0.6B)을 공개했습니다. turbopuffer와 함께 작성한 논문도 발표했습니다. 두 모델 모두 문서당 int8 벡터 하나를 반환하거나, 문서 전체를 참조하는 청크당 벡터 하나를 반환합니다. 또한 청킹 없이 문서당 임베딩 하나를 생성하는 비컨텍스트 모드도 지원합니다.

Perplexity는 다른 컨텍스트 임베딩 모델과 다른 방식으로 이 모델들을 학습했다고 밝혔습니다. 쿼리별 정답 청크 하나를 지정하는 대신, 답변 파이프라인의 쿼리 인식 컨텍스트 압축 모델에서 청크 수준 관련성 점수를 증류했습니다. 따라서 근거가 되는 청크가 더 이상 부정 예제로 취급되지 않습니다.

아래 결과는 Perplexity 자체 평가입니다.

• 9B 모델은 ConTEB와 새로운 벤치마크 두 가지인 context-bench 및 Q2D-Chunk에서 선두를 차지합니다. Q2D-Chunk는 실제 Perplexity 검색 트래픽(쿼리 6,069개, 10개 언어, 문서 71,100개)을 기반으로 구축됐으며, 답변 청크와 이를 검증하는 데 필요한 근거를 모두 라벨링합니다. Perplexity는 이 벤치마크의 리더보드도 공개했습니다.
• ViDoRe-V3 markdown에서 0.6B는 청킹 여부와 관계없이 1B 미만 모델 중 가장 뛰어난 성능을 보입니다. 128토큰 청크를 사용하는 컨텍스트 9B 모델은 voyage-context-4 다음으로 2위입니다.
• 9B 모델은 텍스트만으로 학습됐지만, Perplexity에 따르면 시각 문서에서 선도적인 dense retriever보다 뛰어난 성능을 냅니다. 페이지당 1024차원 임베딩 두 개를 사용하면 인덱스 크기가 4분의 1이면서 ViDoRe-V3에서 Nemotron-3.5-Embed-8B를 능가합니다.