DumpsterCluster：128 张二手 GPU 搭建集群服务 LLaMA-70B
DumpsterCluster: From Dumpster Diving to Serving LLaMA-70B on $60 GPUs
阅读原文
本站未展示全文，请前往来源网站阅读。
AI 导读
论文团队仅用二手部件从零搭建 128 张 GPU 的 DumpsterCluster 并运行一年，通过流水线并行优化，使其基于 V100 的集群达到有竞争力的 LLaMA-70B 吞吐。
来源：Hugging Face Daily Papers · arxiv.org