用 Jev 决策模型替代大语言模型，实现低延迟边缘服务编排
Replacing Large Language Models with Jev Decision Models for Low-Latency Edge Service Orchestration
阅读原文
本站未展示全文，请前往来源网站阅读。
AI 导读
研究将 Jev 的决策导向 API 集成到边缘服务编排中，在 8,280 条请求和 33 种测试条件下，其决策延迟中位数比最快的 LLM 降低 22.7-64.5%，且几乎不随输入规模变化。四字段合约下，Jev 每次正确决策的 API 费用低 59.7-80.9%，代价是少量精确匹配分数。在实时准入路径上，LLM 低于 0.1 的负载下 Jev 仍能保持 0.91-0.95 的请求精确且准时。
来源：Hugging Face Daily Papers · arxiv.org