最新精选
第 141–143 条 · 共 143 条LMSYS 推出源自 SGLang 的轻量级推理框架 Mini-SGLang，代码仅 5k 行 Python，保留 Radix Attention、Chunked Prefill、Overlap Scheduling、Tensor Parallelism 等核心优化，并提供 OpenAI 兼容 API 和开箱即用的 Llama-3、Qwen-3 支持。
推荐理由：官方介绍这款仅 5k 行代码的推理引擎保留了哪些关键优化，以及如何用它学习和做研究原型。
Mistral AI 发布 Mistral Medium 3，定位为兼顾 SOTA 性能、成本低约 8 倍和更易部署的新级别模型。
推荐理由：官方给出与 Claude Sonnet 3.7 对比的基准数字和 $0.4/$2 定价，读者可以据此评估它在企业部署中的性价比。
- DeepSeek API updates精选AI 评分7272
DeepSeek API 创新采用硬盘缓存技术，价格再降一个数量级。更新详情见官方文档 API 上线硬盘缓存，发布于 2024/08/02。
推荐理由：官方宣布 API 采用硬盘缓存并称价格再降一个数量级，读者可以据此评估调用成本的下降幅度。