Latent Space·· 14 小时前精选AI 评分87
DeepSeek DeepInfer 开源：155T tokens/day 推理吞吐与缓存驱动的经济性
[AINews] DeepSeek DeepInfer: Open Source SOTA Inference running 155T toks/day/cluster making $22m/day at ~80% margin for a 81 day payback
AI 导读
DeepSeek 开源 DeepInfer，这是支撑 DeepSeek V4.1 Flash 的生产推理框架，支持分布式推理、speculative decoding、SWA Bounded Replay、结构化输出及 NVIDIA 和 Huawei Ascend 平台。
推荐理由
文章将 DeepInfer 的开源范围、缓存依赖、vLLM 对比与成本假设放在一起，帮助读者区分工程复现证据和服务利润推算。
来源：Latent Space · latent.space