Otlet:在 Postgres 内运行本地 LLM 推理的扩展
Show HN: Otlet – Local LLM inference "inside" Postgres
阅读原文
本站未展示全文,请前往来源网站阅读。
AI 导读
Otlet 是一个 Postgres 扩展,让本地 LLM 推理在 Postgres "内部"运行:推理在后台 worker 中执行,Postgres 负责存储任务、输入、输出和回执。它支持从 SQL 发起模型任务、要求结构化输出、记录每次运行,并在写入源数据前审查待写入内容。作者称目前仍是实验性项目,不建议用于生产,仓库提供 Docker demo。
来源:github.com(经 Hacker News) · github.com