EdgeSync-LLM：面向端侧 LLM 推理的 KV cache 分片引擎（Go/Android）
EdgeSync-LLM – KV cache fragment engine for on-device LLM inference (Go/Android)
阅读原文
本站未展示全文，请前往来源网站阅读。
AI 导读
EdgeSync-LLM 是一个用 Go 编写、面向 Android 端侧 LLM 推理的 KV cache 分片引擎。该项目在 Hacker News 上获得 2 分、0 条评论，具体功能细节与可用性尚未披露。
来源：github.com（经 Hacker News） · github.com