Project Kalos:为 LLM 记忆召回提供 0.46ms 的零拷贝 C/CUDA sidecar
Project Kalos – Zero-copy C/CUDA sidecar for 0.46ms LLM memory recall
阅读原文
本站未展示全文,请前往来源网站阅读。
AI 导读
Project Kalos 是一个零拷贝的 C/CUDA sidecar,可将 LLM 记忆召回延迟降至 0.46ms。该项目在 Hacker News 上发布,目前获得 1 分、暂无评论。
来源:github.com(经 Hacker News) · github.com