AI 推理成本首次算清：GPU 利用率不到 52%，千万别自建

一项推理成本模型测算显示，自建 GPU 部署大模型的临界利用率约为 52%，低于该值自建反而比 API 更贵，而多数 AI 创业公司利用率仅 30%-50%。以 4×H100 部署 70B 模型为例，利用率从 80% 降至 30% 时每千 Token 成本从 $0.011 涨至 $0.045，涨了 4 倍。蒙特卡洛模拟显示 95% 置信度下临界点落在 48%-56% 之间。