跳到正文
AYi· @AYi_AInotes · X·· 1 小时前精选AI 评分68
AI 导读

苏姿丰在台上展示一台 1499 美元、搭载 Ryzen AI Max+ 395 的饭盒大小迷你主机,在本地跑起量化后的 2350 亿参数大模型。

推荐理由

原文对比了订阅账单与买断成本,并点出内存带宽和量化带来的适用边界,读者可以据此判断本地方案的定位。

正文

喵个咪,老黄那台 4000 美元的个人超算还没捂热,苏姿丰直接拎出一个 1499 美元的饭盒主机掀了桌子,把本地跑 235B 大模型的门槛砍到了三分之一。

苏姿丰在台上单手托起一台 1499 美元、饭盒大小的迷你主机,正面硬刚老黄那台 4000 美元的 AI 盒子,我觉得这波真正扎心的不是跑分,是咱们每个月交给云端大厂的订阅账单。

没连数据中心,没调云端接口,也没外接显卡,这台塞进 Ryzen AI Max+ 395 的小机器,当场在本地跑起了量化后的 2350 亿参数大模型。

它能越级打怪,靠的是 CPU 和 GPU 共享 128GB 统一内存,Linux 下能直接划出 110GB 给 GPU 当显存用。

要知道 RTX 5090 也才 32GB 显存,4090 只有 24GB,显卡只要显存被撑爆就得走慢速通道,所以 AMD 官方测试里,它跑 DeepSeek R1 蒸馏版能比单买一张 1000 美元的 RTX 5080 快 3 倍以上。

更刺眼的是重度玩家的云端订阅账本:Claude Code Max 每月 200 刀,ChatGPT Pro 200 刀,再加上 Cursor 20 刀和 Gemini 20 刀,一年就是 5280 美元,这笔钱不到三个半月就能直接买断这台机器。

硬件到手之后,本地白嫖的链路其实很清楚:
→ 装好 Ollama,拉取量化后的 Qwen3 235B 跑在 110GB 显存里
→ 搭一层兼容接口的本地转接服务
→ 把 Claude Code 的接口地址指向本地,实现零 Token 账单跑代码

但站在另一个更现实的视角来看,这台机器受限于内存带宽,极限吐字速度肯定比不上云端 H100,而且 235B 必须经过较重的量化压缩才能塞进去,它真正适合的是本地脚本、私密代码库和 24 小时挂机任务,不是替代所有云端极限推理。

当三年半的订阅费足够买断一台百 GB 显存的桌面工作站,云端按月收租的订阅制,第一次迎来了买断制桌面硬件的正面狙击。

引用AYi@AYi_AInotes
苏姿丰在台上单手托起一个 1499 美元、饭盒大小的迷你主机,正面硬刚老黄那台 4000 美元的 AI 盒子, 没有连数据中心,没有调云端接口,也没外接显卡坞,这个厚度跟平装书差不多的铁盒,当场在本地跑起了 2350 亿参数的大模型。 反常的表现来自里面那颗 Ryzen AI Max+ 395, 这是第一颗让 CPU 和 GPU 共享 128GB 统一内存池的 x86 处理器,在 Linux 下可以划出整整 110GB 直接喂给 GPU。 要知道一张 RTX 5090 显存只有 32GB,4090 只有 24GB,老黄卡了十年的显存脖子,被苏姿丰用三倍以上的统一内存池从侧面捅穿了。 跑 DeepSeek R1 推理时,这台 1499 美元整机的速度,反而比单买一张 1000 美元的 RTX 5080 快出 3 倍以上。 原因其实一点都不玄学,超大模型把独立显卡的显存撑爆后只能被迫走慢速通道,而这台小盒子能把整个模型塞进 110GB 内存池里原地跑完。 更刺眼的是重度用户的订阅账本, Claude Code Max 每月 200 刀 + ChatGPT Pro 200 刀 + Cursor 20 刀 + Gemini 20 刀 = 一年烧掉 5280 美元。 换算下来,不到三个半月的订阅费就能把这台机器买断回家: → 装上 Ollama → 拉下 Qwen3 235B → 把 Claude Code 接口直接指向本地 localhost 熟悉的交互界面一点没变,但所有代码和敏感数据全留在自己硬盘里,凌晨三点写代码再也不会被云端限流拖慢速度,也不用盯着 token 计数器算钱。 不过真要掏腰包,有一个物理边界必须算清楚:统一内存解决的是超大模型塞不塞得下的问题,受限于内存带宽, 它的单次吐字速度依然比不上云端机房的 H100 集群,更适合拿来跑高频本地脚本、处理私密代码库和长时挂机任务,还不能在极限推理上完全替代云端顶配模型。 过去十年老黄让大家相信,跑严肃的 AI 就得买昂贵的独立显卡,现在当显存墙被统一内存推平,云端按月收租的订阅制,第一次迎来了买断制桌面硬件的正面狙击。 https://x.com/GeniusGTX/status/2110112645139579373/video/1
在 X 查看被引用的帖子

来源:AYi · x.com