DeepSeek 技术报告解读：单集群日吞吐 155 万亿 Token、毛利率约 80% 的推理架构

AI寒武纪 2026-10-21 06:20 江苏

↑阅读之前记得关注+星标⭐️，😄，每天才能第一时间接收到更新

继昨天DeepSeek开源内部大规模生产级推理框架以后，官方又在知乎发布了技术报告，把整个超大规模集群调度的底层设计拆解得一清二楚。

其中最炸裂的是这段：

“基于这一框架，我们已实现 DeepSeek V4.1 Flash 的高吞吐、低延迟大规模推理服务。目前单一集群的服务吞吐是 155 万亿 Tokens/天，整体收入是每卡每小时 38 美金（按谷价）。”

按照行业平均每小时5到10美元的显卡算力成本换算，他们在极低API售价下，依然保持着高达80%的服务毛利率。

DeepSeek这是把一切都开源了，真正的源神！

source：

https://zhuanlan.zhihu.com/p/2095560295930508953

为什么大家算力在烧钱，他们却在大赚？

大模型推理最大的痛点，在于用户多了之后集群吞吐上不去，算力闲置和通信排队极度严重。

DeepSeek给这套系统定死了三个目标：

第一，同时吃透英伟达和华为昇腾硬件。

第二，把Prefill和Decode两套任务完全分开，用普通8卡机器跑输入Prefill，用64到128卡的超节点死磕输出Decode。

第三，把用户历史会话的KVCache延长保留到72小时以上，彻底砍掉重复计算。

在硬件分配上，他们把逻辑做到了极致。

Prefill阶段只开EP2到EP8，尽量用较小的专家并行。

Decode阶段直接拉满到EP64甚至EP128，用超大专家并行打满矩阵乘法效率。

多模态的图片编码直接独立部署，单卡就能跑，挑机房里最便宜的显卡去处理。

连分词器都要用Rust重写

用户输入进模型，中间的协议转换其实拖累了大半性能。

很多服务在处理超长文本分词时，CPU会拖死响应速度，还容易被恶意提示词注入特殊Token。

DeepSeek把API协议适配、输入编码和输出解析全部用Rust重构。

对于特殊标记，他们记录绝对位置，只对普通文本做并行切分编码，杜绝注入攻击，大幅压缩长文本处理耗时。

模型流式输出时，他们写了一个跨切片解析的状态机。

即使UTF-8字符被切断，状态机也会在内存中暂存拼合，一旦识别出工具调用的参数，直接原地组装输出JSON片段，不构造多余的完整对象，首字返回速度被推到了极致。

四套负载均衡，把显卡空转彻底抹平

节点变大之后，木桶效应最致命，只要有一张卡在等，所有卡都得陪着发呆。

DeepSeek做了四层负载均衡调度：

Prefill负载均衡把输入长度切成四档，按拟合的计算量二次方模型预测耗时，在纳秒级预算内倒推每次处理的最佳Token数。

Decode负载均衡同时监控每张卡的请求数和缓存总长，长短请求交替搭配，把长请求扔给缓存总量小的卡。

MoE专家并行负载均衡每卡额外备出冗余专家位。Prefill阶段每卡多留4个备用位，Decode阶段留1个备用位，系统动态统计最近的冷热访问，自动在节点内迁移热点专家权重，最慢卡和平均卡的性能偏差被压缩到了10%以内。

集群面临流量波动时，系统自动按照实际算力需求缩容，遇到节点故障，直接按健康卡数就地重组通信域，绝不花几分钟去重启。

100PB分布式存储，留存缓存长达7天

KVCache复用是降低推理成本最直接的手段。

DeepSeek把缓存切成两部分：Block KVCache和SWA KVCache。

核心的Block KVCache以128个Token为一页，全部打入底层的3FS独立分布式文件系统。

这个文件系统为缓存准备了整整100PB的固态存储，峰值聚合读取带宽达到每秒10TB。

智能体场景的缓存直接保存3天，普通对话场景保存整整7天。

因为数据全放在外部独立存储里，任何计算节点宕机都不会丢缓存，任何一台机器都能拉取历史会话，彻底解决了存储和算力扩容绑定的矛盾。

SWA Bounded Replay，算力开销直接砍半

以前版本的架构为了保存完整的滑动窗口注意力，把将近一半的固态硬盘空间都分给了SWA KVCache。

但实际上，这种滑动窗口数据只在当前几分钟的连续对话里有用，会话一停就成了垃圾，长期存盘极其浪费。

如果完全不存、每次精确重算，开销又大到无法承受。

DeepSeek在V4.1做了一套折中方案：

SWA KVCache不写硬盘，只在生成机器的内存里保留大约180秒，命中率直接维持在98%以上。

一旦超时被踢出内存，系统不再从硬盘寻找，而是直接触发截断重算。

系统只重算最近128个Token，把注意力窗口限制在这个小片段里，重新拼出近似值。

在Decoder端，他们每次只重算末尾128个Token，产出算完即弃，不进缓存，这让Prefill计算量近乎缩减了一半。

投机解码变长验证，GPU一秒都不准歇

在输出端，他们采用了DSpark投机解码。

以往的投机解码是每次固定猜几个Token，猜错就作废，浪费验证算力。

DSpark加了一个置信度预测头，模型边猜边算概率，每次生成5个候选，按接受率动态排序，只挑预期收益最高的前缀交给模型验证，线上实际吞吐净增6%。

为了让显卡彻底拉满，他们还消除了CPU调度的等待时间。

在GPU执行当前步骤的前向计算与采样时，CPU已经同步跑完了下一步的调度、发射了后续指令，并完成了上一步的后处理。

GPU无需等待CPU握手，全程无缝流水线运转。

通过整套软硬件架构重构，DeepSeek把大模型服务变成了一个极高吞吐的工业流水线，不仅撕开了大模型推理优化的黑盒，也证明了低价API不仅不会亏本，反而拥有极其惊人的利润空间。

--end--

最后记得⭐️我，每天都在更新：如果觉得文章还不错的话可以点赞转发推荐评论

/...@作者：你说的完全正确（YAR师）

跳转微信打开