在 250 美元 AMD FPGA 上实现 Taalas 风格片上 LLM 权重（60k tok/s）
Show HN: Taalas-style on-chip LLM weights on a $250 AMD FPGA (60k tok/s)
阅读原文
本站未展示全文，请前往来源网站阅读。
AI 导读
有开发者在 250 美元的 AMD FPGA 上实现了 Taalas 风格的片上 LLM 权重方案，推理速度达 60k tok/s。该方案将模型权重直接放入 FPGA 片上资源，而非依赖外部内存。项目以 Show HN 形式发布，目前尚无评论。
来源：mikeayles.com（经 Hacker News） · mikeayles.com