Show HN:KV-psi 用 Linux PSI 裁剪 LLM KV cache
Show HN: KV-psi, using Linux PSI to to trim an LLM KV cache
阅读原文
本站未展示全文,请前往来源网站阅读。
AI 导读
开发者发布 KV-psi,利用 Linux PSI(Pressure Stall Information)为 LLM 运行时裁剪 KV cache,主要面向 Jetson Orin super nano kit 等统一内存的边缘设备。作者称尚未做大量基准测试,计划后续验证其在本地 LLM 运行中的实际效果。
来源:github.com(经 Hacker News) · github.com