AI Gateway от Cloudflare поддерживает псевдонимы моделей и именованные пулы моделей с резервным переключением
Согласно публикации, которой поделился аккаунт разработчиков Cloudflare, AI Gateway теперь поддерживает псевдонимы моделей. Псевдоним модели — это пул моделей, к которому приложение обращается по одному имени. Шлюз пробует модели в заданном порядке и при сбое запроса переключается на следующую либо использует интеллектуальную маршрутизацию, чтобы выбирать модель для каждого запроса.
Источники
Получайте такие новости в push.
AI Tracker сообщит, когда что-то меняется в ваших инструментах.