Latent Space·· 2 小时前精选AI 评分88
DeepSeek 开源 DeepInfer 推理框架，引发行业对推理经济性的讨论
[AINews] DeepSeek DeepInfer: Open Source SOTA Inference running 155T toks/day/cluster making $22m/day at ~80% margin for a 81 day payback
AI 导读
DeepSeek 开源其生产推理框架 DeepInfer，并披露单集群 155 万亿 tokens/天、96% 输入缓存命中率、每加速器小时 38 美元收入等数据。vLLM 团队回应称在 GB200 上解码吞吐与 DeepInfer 相差 6% 以内，社区围绕推理利润率、缓存经济性和硬件适配展开讨论。
推荐理由
原文汇总了 DeepInfer 开源后的多方反应与成本测算，读者可借此判断开源推理栈对行业格局的实际影响。
来源：Latent Space · latent.space