LLM 推理成本究竟由什么决定
一篇讨论 LLM 推理成本构成的文章在 Hacker News 引发关注,目前获得 2 分、暂无评论。文章聚焦大语言模型推理阶段的成本问题,但正文未提供具体模型、参数规模或价格数据。
@akashi203 · X · 历史来源 · 当前未持续收录
一篇讨论 LLM 推理成本构成的文章在 Hacker News 引发关注,目前获得 2 分、暂无评论。文章聚焦大语言模型推理阶段的成本问题,但正文未提供具体模型、参数规模或价格数据。
一项工作把 27B 三值 LLM 的整个解码步骤融合进单个 CUDA kernel。该方案针对三值权重模型的解码阶段做 kernel 级融合,具体加速比、硬件型号与可用性原文未给出。