港科大与华为提出BalanceRoute优化LLM推理负载均衡

2026年10月16日，机器之心报道，香港科技大学周子杰团队与华为2012实验室理论部联合提出BalanceRoute，用于破解大模型推理数据并行中的负载均衡瓶颈。该方法通过数学建模刻画数据并行解码中的同步等待，将短期负载预测转化为在线路由决策，报道称解码吞吐提升约15%。目前该工作处于论文/方案发布阶段，尚无后续落地或复现报道。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。