跳到正文
原文
LMSYS Blog· Sundara Raman Ramachandran, Chuanrui Zhu, Qing Lan, Shri Rajamanikandan Vasudevan, Jian Sheng, I-Ting Chen, Fedor Borisyuk·· 8 天前AI 评分47

SGLang 如何用 Score API 与共享上下文扩展类 JEV 决策模型

Scaling JEV-like Decision Models with SGLang

AI 导读

SGLang 的 /v1/score 接口让调用方通过 label_token_ids 显式声明所需标签分数,避免依赖生成响应 top-k logprobs 中是否出现该标签。

来源:LMSYS Blog · lmsys.org