AI 导读
重启时，引擎在 meta device 上初始化，不分配 CPU 或 GPU 存储。 它将每个 https://t.co/lYulEBoKPh 直接指向 IPC 映射的 tensor，包括 FP8 weight_scale 及其他量化后 tensor。 无拷贝。无磁盘 I/O。无重新量化。
正文
On restart, the engine initializes on the meta device, with no CPU or GPU storage allocated.
It points each https://t.co/lYulEBoKPh directly to an IPC-mapped tensor, including FP8 weight_scale and other post-quantization tensors.
No copy. No disk I/O. No requantization.
来源：@AntLingAGI · x.com