AI 导读
现代 PD 分离推理至少需要 40GB/s 的 KVCache 池速度（传输时间不超过 Prefill 耗时的 10%），因此 400Gb RDMA 内存池更合适。作者实测 CPU1 上 2 条 128G 内存，写速度甚至打不过 SSD，且存在 NUMA 问题。
正文
这个我比较有经验, 没那么复杂, 单纯是因为写速度拉了, 甚至打不过SSD(图是我刚测的, CPU1上的2条128G, 这玩意还有NUMA).
现代PD分离推理至少要40GB/s的KVCache池速度(传输时间≤≤Prefill 耗时的 10%计算). 所以400Gb RDMA内存池更爽了. https://t.co/4dgDHNxom6 https://t.co/EXu5A1kQ8c
来源：@karminski3 · x.com