inclusionAI 发布 vllm-ling-v3 仓库
inclusionAI/vllm-ling-v3
阅读原文
本站未展示全文,请前往来源网站阅读。
AI 导读
inclusionAI 在 GitHub 上线 vllm-ling-v3 新仓库,基于 vLLM 做 LLM 推理与服务。vLLM 由 UC Berkeley Sky Computing Lab 发起,支持 200+ Hugging Face 模型架构,采用 PagedAttention、连续批处理与 FP8/INT4 等量化,并提供 OpenAI 兼容 API。
来源:inclusionAI GitHub 新仓库 · github.com