跳到正文
github.com(经 Hacker News)·· 2026-06-28AI 评分18

Show HN:KV-psi 用 Linux PSI 裁剪 LLM KV cache

Show HN: KV-psi, using Linux PSI to to trim an LLM KV cache

阅读原文

本站未展示全文,请前往来源网站阅读。

AI 导读

开发者发布 KV-psi,利用 Linux PSI(Pressure Stall Information)为 LLM 运行时裁剪 KV cache,主要面向 Jetson Orin super nano kit 等统一内存的边缘设备。作者称尚未做大量基准测试,计划后续验证其在本地 LLM 运行中的实际效果。

来源:github.com(经 Hacker News) · github.com