我很高兴地宣布专用容器推理——这是我在加入 @togethercompute 时非常期待构建的产品之一，现在6个月后我们上线了！ 非常感谢团队——这使得运行密集计算模型的推理变得简单，例如视频、音频和头像生成，提供了自动扩展、排队、优先级、指标、日志记录等原语。 如果你在这个领域进行开发，我很想听听你的想法！