Runway 如何回收夜间闲置推理 GPU 用于研究

Runway 构建了名为 deckard 的容量控制器，在生产与研究集群间重新分配 GPU：白天跟随推理需求扩缩，夜间把闲置算力借给研究，并在早高峰前归还。该控制器按五个时间窗口执行预计算调度，将工作日 8:30–12:30 ET 划为高峰子窗口，并基于排队论按 p98 延迟目标确定 GPU 数量。由于跨集群迁移节点需 20 到 60 分钟，控制器会提前预测需求波峰并预先移动容量。