Together представляет Together Compiler — непрерывную компиляцию для инференса ИИ

Simran Arora из исследовательской команды Together представила Together Compiler, который она описывает как непрерывную компиляцию для инференса ИИ. По её мнению, сегодняшний инференс «полиморфен»: он постоянно меняется, а не остаётся неизменным. Она также отмечает, что 80% трафика на OpenRouter приходится на недавно выпущенные модели.

SemiAnalysis сообщает, что проверила результат InferenceX/AgentX, связанный с этой работой.