跳到正文
DeepSeek· @deepseek_ai · X·· 2 小时前精选AI 评分66
AI 导读

DeepSeek 宣布将自研推理框架 DeepInfer 完全开源,代码位于 github.com/deepseek-ai/DeepInfer。该框架在生产环境支撑 DeepSeek-V4.1-Flash 的大规模推理,主打高吞吐和低延迟,官方称希望帮助社区降低计算成本与能耗。

推荐理由

DeepSeek 公开自研推理框架的生产栈,想降低推理算力成本的团队可以参考其吞吐与延迟实践。

正文

🚀 Introducing DeepInfer, our in-house inference framework, now fully open source!

Powering DeepSeek-V4.1-Flash at scale with high throughput and low latency. We’re sharing our production stack to help the community lower compute costs, reduce energy use, and make AI more affordable.

🔗 http://github.com/deepseek-ai/DeepInfer

1/4

来源:DeepSeek · x.com