OpenAI 新优化技术将推理成本降低一半,DeepSeek 发布 DSpark 提速 60%-85%
DSpark推理速度提升80%后,OpenAI宣布新方法将推理成本降低了一半
阅读原文
本站未展示全文,请前往来源网站阅读。
AI 导读
OpenAI 工程师开发出一种优化技术,将应用该技术的模型推理成本降低了一半,用于未登录访客的 ChatGPT 服务时所需英伟达 GPU 降至几百块,但具体技术细节未公开。DeepSeek 与北京大学联合发布投机解码方法 DSpark,在 V4 模型上实现每位用户推理速度 60%-85% 的提升,无需重新训练权重,已在 MIT 许可证下开源,适用于 V4 Flash 和 Pro 模型。
来源:AI科技评论 · 微信公众号 · mp.weixin.qq.com