Mike Veerman 的模拟器展示 10 tokens/秒 到底有多快
How fast is 10 tokens per second really?
阅读原文
本站未展示全文,请前往来源网站阅读。
AI 导读
Simon Willison 分享了 Mike Veerman 制作的 HTML 小应用,可模拟 LLM 从 5 到 800 tokens/秒 的 token 输出速度。当看到模型标称 30 tokens/秒 时,可以用它直观感受实际输出快慢。该工具经 Hacker News 转发。
来源:Simon Willison · simonwillison.net