北大联合阶跃星辰提出TensorCast：统一可编程管理大模型张量，推理首字延迟最高降低93.2%
北大联合阶跃星辰提出TensorCast：统一可编程管理大模型张量，推理「首字延迟」最高降低93.2%
阅读原文
本站未展示全文，请前往来源网站阅读。
AI 导读
北京大学、阶跃星辰与北京邮电大学联合提出 TensorCast，在计算引擎、网络与存储之间引入统一可编程的张量生命周期管理抽象层，将模型权重、KV Cache 等张量状态从具体系统中解耦。
来源：机器之心 · 微信公众号 · mp.weixin.qq.com