Janas-LLM 开源：通过 NVMe SSD 流式读取专家，在 32 GB 内存笔记本上运行 80B MoE 模型
Janas：通过从SSD流式传输专家数据，运行规模超过内存的大规模语言模型
阅读原文
本站未展示全文，请前往来源网站阅读。
AI 导读
Janas 是一个用 C 编写、无依赖的开源 LLM 工具集，其首个组件 Janas-LLM 将 MoE 模型权重留在磁盘上，按需从 NVMe SSD 流式读取专家数据，常用专家缓存于内存。
来源：github.com（经 Hacker News） · github.com