如何设计一套经得起考验的 AI 服务框架

EXL 在《Engineering the Harness》系列中指出，企业 AI 的竞争优势正从模型能力转向围绕模型的服务框架，即架构、内存管理、调度与推理优化。框架设计应先从工作负载出发确定约束，再据此决定架构，而非追求最强模型。KV cache 随并发和上下文增长会挤占 GPU 显存，需先测量主导瓶颈再优化，并让框架能吸收未来的模型与硬件变化。