Show HN:LLM 推理计算器——估算显存、延迟和吞吐量
Show HN: LLM 推理计算器——估算显存、延迟和吞吐量
阅读原文
本站未展示全文,请前往来源网站阅读。
AI 导读
一款名为 LLM Inference Calculator 的在线工具发布,用于估算大语言模型推理所需的显存、延迟和吞吐量。该工具以网页形式提供,用户可通过 llm-inference-calculator-delta.vercel.app 访问。
来源:llm-inference-calculator-delta.vercel.app(经 Hacker News) · llm-inference-calculator-delta.vercel.app