AI Tracker下載 App

多模態新聞,
為開發者整理。

各家 AI 公司最新的多模態動態:發表、調價和停用,並附上對你的影響。

模型

Hume 推出 Audio Decision API,單次呼叫即可回答音訊相關問題

Hume 表示,Audio Decision API 讓開發者能針對音訊提問,例如其中有幾位說話者、是否有人在笑,或來電者是否感到沮喪。Hume 表示,這取代了過去需要使用 10 個以上模型的工作。
模型· 5 則討論

美團推出 LongCat-2.5:專為代理任務打造的 1.6T 參數多模態模型

據帳號 leo114119 在 X 上發布的貼文(附有美團 LongCat 部落格連結),美團已推出 LongCat-2.5。貼文稱,美團將其描述為專為代理任務打造的原生多模態模型,擁有 1.6 兆個參數,擅長複雜的視覺程式設計專案,以及創意設計、3D 任務和商業分析等專業辦公工作。
Google· 模型· 21 則討論

Google announces Gemini 4 Carbon, its next frontier model, to cyber defenders first

Google announced Gemini 4 Carbon on October 28, 2026, calling it its strongest model, with state-of-the-art cybersecurity and long-horizon capabilities. It follows Gemini 4 Argon by two weeks. Sundar Pichai's post and Google's blog say it is not yet generally available: starting this week a subset of cyber defenders get access, with more trusted partners added through the Fairwind Program. Google says it will bring Carbon to developers, businesses and consumers "as soon as possible", and that it is taking part in the U.S. government's voluntary process for pre-release model testing.
OpenCode Go· 多模態

Hex:一款用語音與程式碼代理互動的本機輸入應用程式,推出穩定版

OpenCode 帳號於 10 月 31 日在 X 上表示,Hex 穩定版現已推出。Hex 將自己描述為一種透過語音與任何代理交談的方式,速度快、在本機執行,並支援 Mac、Windows 和 Linux。貼文附上連結 anoma.ly/hex。
OpenCode Go· 程式開發

OpenCode 2.2.3 新增圖像生成工具

OpenCode 官方帳號於 10 月 30 日在 X 發文表示,OpenCode 2.2.3 新增了圖像生成工具,支援 OpenAI、Gemini、Grok 等公司的圖像模型。官方建議可用於製作遊戲的概念 UI 或參考美術圖。
模型

ElevenLabs 推出 SFX v3 音效模型,可依照多段式提示生成音效

ElevenLabs 推出最新音效模型 SFX v3。該公司表示,這款模型只需單一文字提示,就能生成更豐富、更精準的音效;也更能可靠地遵循同一提示中的多項指示(例如:人群歡呼、球落地,接著人群發出噓聲),並改善了音樂與人聲效果。
模型

PokeBot 推出 RoboAPI,讓機械手臂能接收自然語言指令的 API

PokeBot 於 10 月 29 日推出 RoboAPI,由其稱為「世界動作模型」的 Poke-Aurora 驅動。該公司表示,相容的機器人可透過簡單的 API 接收自然語言指令,無須針對特定任務進行訓練。
模型

Pika 推出 H3 Flex,稱其為 DesignArena 上排名第一的開放權重文字轉影片模型

Pika 推出 H3 Flex,稱其在 DesignArena 的文字轉影片排行榜上首發即名列開放權重模型第 1 名(Pika 的說法)。Pika 表示,這款模型專為專業工作流程中的反覆調整而打造:可匯出音訊分軌、解析度最高達 4K,且生成速度快於即時播放;製作 15 秒影片及配樂最快只需 7 秒。
模型

Phonic 1 首登 Artificial Analysis 語音轉語音指數第 1 名

Artificial Analysis(基準測試網站,數據來自其自行測量)指出,Phonic 推出的語音轉語音模型 Phonic 1 (High) 在其 Speech to Speech Index 的 22 款模型中以 87.1 分拿下第 1 名,略勝 Grok Voice 3.0(86.9 分)。此模型可透過 Phonic API 使用,每分鐘 $0.07。
模型

Fish Audio 推出 Drama 3,Artificial Analysis 將其評為開放權重語音模型第 1 名

Fish Audio 推出 Drama 3,並在 Hugging Face 上提供模型權重。Artificial Analysis(基準測試網站,數據來自其自行測試)表示,Drama 3 在其兩個語音競技場中,都是開放權重模型第 1 名;在 Pronunciation Robustness 基準測試中,則是所有模型中的第 1 名。
模型

Artificial Analysis 推出 AA-Robotics v0.1:評測模型操控機械手臂的表現

Artificial Analysis 發布 AA-Robotics v0.1,讓模型操控機械手臂,並呈現模型視角下的任務畫面。在一個由同一台機械手臂寫出「hello world」的範例中,Artificial Analysis 表示,Claude Opus 5.5 是一點一點地點出字樣,共移動手臂 3,270 次,耗時 34 分鐘;GPT-6 Astra 則以連續筆畫書寫,移動 514 次,耗時 13 分鐘。
模型

ElevenLabs 推出強制對齊模型 Cue

ElevenLabs 研究團隊推出強制對齊模型 Cue:這是將逐字稿轉換為時間戳記的步驟,可用於字幕、配音和可點擊的逐字稿。它會將每個字元定位在音訊時間軸上。
模型

Rime 推出 Prism,這款語音代理專用語音轉語音模型

Rime 推出 Prism,這是一款供 AI 語音代理使用的語音轉語音模型。以下數據均為 Rime 自行宣稱,未經獨立測量。
模型

Artificial Analysis 推出 AA-Video-I2V v2.1,這是一項評測圖像轉影片模型的基準測試

Artificial Analysis 推出 AA-Video-I2V v2.1 和 AA-Video-I2V-Silent v2.1,這是一項評測圖像轉影片模型的基準測試。每個提示詞都搭配一張 1080p 起始圖像,以及為該圖像撰寫的提示詞,並依使用情境、能力和視覺風格分類;模型的評測解析度最高可達 1080p,並依 10 種使用情境和 10 項能力排名。整體排名會從各項目中平均抽樣。結果由 Artificial Analysis 自行提供。
模型

OpenBMB 發布 MiniCPM-OCR:1B 文件解析模型,並推出用於評分 OCR 結果的 2B 模型

OpenBMB 於 10 月 28 日在 X 上展示 MiniCPM-OCR,並在 iPhone 和 iPad 上本機執行。模型以開放權重形式發布,可透過 llama.cpp、vLLM、SGLang 或 Ollama 執行;微調程式碼也已開源,OpenBMB 另提供示範和 API。
模型

AssemblyAI 推出首款文字轉語音模型 AssemblyAI-TTS-1

AssemblyAI 推出首款文字轉語音模型 AssemblyAI-TTS-1,專為語音代理打造。AssemblyAI 表示,模型可在 90 毫秒內開始串流,每百萬個字元收費 15 美元,並稱它是在準確度、自然度與成本三方面兼具、可大規模部署的最佳 TTS 模型。OpenRouter 表示,該模型已在其平台上線,提供 4,000 多種語音,服務由美國或歐盟提供。
GitHub Copilot· 多模態

GitHub Copilot 可在聊天中生成及編輯圖片,目前處於公開預覽階段

GitHub 表示,Copilot 現在可根據自然語言要求生成及編輯圖片。所選的推理模型會呼叫由 GPT Image 2.5 Flare 支援的圖片生成工具,並在聊天中直接顯示結果,且將圖片儲存至專案。此功能適用於 VS Code、GitHub Copilot 應用程式或 Copilot CLI 中的任何 Copilot 聊天工作階段。
模型

NVIDIA 推出開放權重 Nemotron 3.5 Transcribe,在 Artificial Analysis 的開放權重語音轉文字模型中並列第 1

NVIDIA 的 Nemotron 3.5 Transcribe 是一款全新的開放權重、可透過提示詞調整的語音轉文字模型:採用 30B 混合專家架構,約有 4B 個啟用參數。NVIDIA 表示,單一檢查點即可處理 40 種語言的轉錄、說話者歸屬、翻譯、情境提示和音訊理解,且權重、資料與訓練配方皆已開放。此模型已在 Hugging Face 上推出,並提供線上示範。
多模態

Cartesia Managed Agents 在 Artificial Analysis 的 Speech Agent Arena 中獲得 1115 Elo 分

Artificial Analysis 表示,Cartesia Managed Agents 是 Cartesia 全代管的語音代理建置與部署平台,在其 Speech Agent Arena 中獲得 1115 Elo(95% 信賴區間:1086–1144;685 個樣本),比 Cartesia 先前的語音代理產品 Cartesia Line(1017)高 98 分。兩者的信賴區間沒有重疊。這些結果由 Artificial Analysis 自行測得。
基礎架構

Vercel AI Gateway 新增 14 款 ElevenLabs 模型,11 月 9 日前享 5 折

Vercel 表示,AI Gateway 現已提供 14 款 ElevenLabs 模型。AI Gateway 是供模型供應商使用的統一端點,這些模型在 11 月 9 日前享 5 折優惠。Vercel 列出的模型涵蓋即時語音代理、音樂、音效、多角色對話、透過 WebSockets 串流語音,以及語音轉文字。