Together introduceert de Together Compiler, continue compilatie voor AI-inferentie

Simran Arora van het onderzoeksteam van Together introduceerde de Together Compiler, die ze omschrijft als continue compilatie voor AI-inferentie. Volgens haar is inferentie tegenwoordig „polymorf”: de vorm verandert voortdurend in plaats van onveranderd te blijven. Ook merkt ze op dat 80% van het verkeer op OpenRouter naar recent uitgebrachte modellen gaat.

SemiAnalysis zegt een InferenceX/AgentX-resultaat dat verband houdt met dit werk te hebben gevalideerd.