Together stellt den Together Compiler vor, eine kontinuierliche Kompilierung für KI-Inferenz

Simran Arora aus dem Forschungsteam von Together hat den Together Compiler vorgestellt, den sie als kontinuierliche Kompilierung für KI-Inferenz beschreibt. Ihrer Argumentation zufolge ist die heutige Inferenz „polymorph“: Sie verändert ihre Form, statt statisch zu bleiben. Außerdem weist sie darauf hin, dass 80 % des Traffics auf OpenRouter auf kürzlich veröffentlichte Modelle entfallen.

SemiAnalysis zufolge hat das Unternehmen ein mit dieser Arbeit verbundenes InferenceX/AgentX-Ergebnis validiert.