如何在廉价硬件上运行大模型：从量化到投机解码的推理优化详解

ByteByteGo 撰文讲解如何在普通硬件上运行大模型推理。文章解释内存容量、带宽和 prefill 与 decoding 两阶段的瓶颈，并逐一介绍量化（8B 模型 16-bit 权重约 16 GB。