清程极智赤兔推理引擎与 AI Ping:如何破解大模型 Token 算力成本难题
狂烧 Token 却赚不到钱?这家清华系 AI Infra 独角兽已破解算力成本难题
阅读原文
本站未展示全文,请前往来源网站阅读。
AI 导读
清华系 AI Infra 公司清程极智推出赤兔推理引擎、八卦炉和 AI Ping 三款产品,分别覆盖训练、推理部署与 Token 服务智能路由。赤兔通过软件层映射 FP4、FP8 低位宽计算,让不原生支持这些格式的国产芯片高效运行大模型,部署 DeepSeek-V3 满血版从 4 台 8 卡服务器压缩至 1 台。
来源:InfoQ · 微信公众号 · mp.weixin.qq.com