Google 在 Gemini API 中推出預覽版 Tool Retrieval,按需載入工具結構描述
Google 表示,Tool Retrieval 已在 Gemini Interactions API 中開放預覽。這項功能讓代理程式可將大型工具庫備妥待用,並僅在任務需要時載入工具的參數結構描述。Google 表示,這能減少輸入 token 和延遲,並在工具數量增加時協助維持準確的工具選擇。
若要使用,請在請求中加入 tool_search 工具,並對要暫緩載入的工具設定 defer_loading: true。模型仍會看到每個延後載入工具的名稱和說明;當模型需要某個工具時,會按名稱提出要求,API 載入結構描述後,模型便會呼叫該工具,整個流程都在同一個請求中完成。這些步驟會顯示在 interaction.steps 中,方便除錯。若對遠端 MCP 伺服器工具設定 defer_loading: true,該伺服器提供的所有工具都會延後載入。自行管理登錄表、嵌入索引或權限篩選器的開發者,可以用 "execution": "client" 宣告 tool_search;這會讓每次搜尋多出一次往返請求,但也能讓他們在對話進行中提供工具。
Google 表示這項功能不會另外收費:token 按模型標準費率計費,tool_search 會增加一小段固定的輸入 token,而每個載入的結構描述則會在對話後續期間計為輸入。Google 表示,延後載入的結構描述不會出現在提示詞開頭,因此不影響前綴快取。此功能適用於 Gemini 3.6 及更新版本的模型,包括所有 Gemini 4 模型。
來源
- 在 Gemini API 中推出 Tool Retrievalantigravity
這樣的新聞,第一時間推播給你。
你使用的 AI 工具一有變化,AI Tracker 就會通知你。