AI 导读
2024:一台搭载 RTX 4090 的游戏 PC 以 4-bit 运行 Llama 3 70B,速度约 2 tok/s。 2026:一台搭载 RTX 5090 的游戏 PC 以原生 mxfp4 运行 DeepSeek-V4-Flash 284B,速度约 24 tok/s。 预测:到 2027 年底,一台游戏 PC 将能以不错的速度在本地运行 Fable 5 级别的智能。
正文
2024: A gaming PC with a RTX 4090 ran Llama 3 70B at ~2 tok/s in 4-bit.
2026: A gaming PC with a RTX 5090 runs DeepSeek-V4-Flash 284B at ~24 tok/s with native mxfp4.
Prediction: by the end of 2027, a gaming PC will run Fable 5-class intelligence locally at decent speed.
来源:@Yuchenj_UW · x.com