红杉对话Google AI基础设施负责人Amin Vahdat：AI算力竞争拼的不只是芯片
对话｜红杉资本 x Google AI基础设施负责人Amin Vahdat：AI算力竞争，拼的不只是芯片
红杉资本播客对话中，Google AI基础设施负责人Amin Vahdat认为评估AI基础设施应看Goodput而非FLOPS，Google要求有效算力服务能力每半年左右翻倍，大部分收益来自模型侧改进。
原创 TP 2026-10-13 14:46 美国
在与红杉资本合伙人Sonya Huang的对话中，Google AI基础设施负责人Amin Vahdat谈到了AI数据中心的特殊性、TPU的设计逻辑、算力的衡量方式，以及电力、网络和智能体对基础设施的影响。
导读：2026年，AI基础设施建设进入大规模扩张阶段。Google预计全年资本开支将超过2000亿美元，其中大部分用于数据中心建设。与此同时，模型能力持续提升，AI应用也从传统的问答交互走向更长时间、更复杂的智能体任务。算力需求的变化，正在重新定义数据中心的设计方式。
在与红杉资本合伙人Sonya Huang的对话中，Google AI基础设施负责人Amin Vahdat谈到了AI数据中心的特殊性、TPU的设计逻辑、算力的衡量方式，以及电力、网络和智能体对基础设施的影响。
本期对话内容来自红杉资本「Training Data」系列播客，由红杉资本合伙人Sonya Huang主持，对话嘉宾为Google AI基础设施负责人Amin Vahdat
01. AI数据中心正在走向专用化
Sonya Huang：AI数据中心和传统数据中心有什么区别？
Amin Vahdat：两者在基础设施层面有很多相似之处，都需要建筑、电力设施、制冷系统、网络和存储。真正的区别在于专用化程度。
过去，数据中心建筑的规划周期可以达到25至30年，而硬件的使用周期可能只有6年。建筑需要容纳多代服务器、网络设备、存储设备和加速器，因此设计时必须考虑长期的通用性。
而AI数据中心则需要围绕具体硬件进行设计，甚至要把建筑、电力分配和制冷系统一起考虑。例如，一个存储机柜的功耗可能只有10至40千瓦，而GPU等AI计算机柜如今已经可以达到数百千瓦，未来还可能向兆瓦级发展。假设同一排空间过去可以放置30个存储机柜，现在却只放得下少数几个AI机柜，那么整个建筑的空间布局、电力分配和网络设计都会发生变化。
如果为了适应未来30年的所有硬件而追求完全通用，数据中心可能被设计得过大、过于冗余。AI基础设施更需要将硬件、供电、散热和网络放在一起优化。
02. 真正重要的是Goodput
Sonya Huang：我们之前谈到，FLOPS有时只是一个表面指标。你更关注另一个指标，能否解释一下？
Amin Vahdat：FLOPS衡量的是芯片在特定条件下理论上能够提供的计算能力，但真实工作负载的表现，很少只由一颗芯片决定。一个任务可能需要成百上千甚至数万颗加速器协同工作，还需要CPU持续供给数据，并依靠网络连接所有计算节点。因此，我们真正关心的是：对于实际运行的工作负载，整个系统最终能够交付怎样的性能。
我们使用Goodput来衡量这一点。可以把Throughput理解为系统完成了多少工作，而Goodput关注的是，其中有多少工作真正帮助我们得到最终结果。
以大规模AI任务为例，如果一项计算需要数万颗加速器同步执行，其中一个组件发生故障，就可能导致整个任务停顿。系统需要定位故障、恢复检查点，甚至重新执行一部分计算。那些最终没有帮助任务产生结果的计算，消耗了时间和资源，却没有带来有效产出。
在10万颗加速器的规模下，故障可能每天发生多次；根据具体配置，甚至可能每小时发生数次。因此，系统必须能够及时发现故障、完成恢复，并尽可能减少对任务的影响。
Sonya Huang：那么，Google要求算力服务能力每半年左右翻一倍，是指什么？
Amin Vahdat：这里说的是有效可用的服务能力。对于推理服务，我们关注的是Token生成能力，而不只是芯片能够提供多少FLOPS。
实现翻倍有很多路径，并不意味着每半年都必须把硬件算力翻倍。模型优化、运行时优化，以及其他软件改进，都可以提升现有硬件的实际利用效率。
从我们经验来看，在每瓦智能产出方面，大部分收益往往来自模型侧的改进，因为模型和软件系统能够让已有硬件得到更有效的利用。当然，硬件自身的进步也很显著，年同比实现两倍甚至更高的性能提升是有可能的。
因此，评估基础设施不能只看芯片参数，还必须看系统在真实任务中能够交付多少有效产出，以及每瓦电力能够带来多少产出。
03. TPU的专用化取决于工作负载
Sonya Huang：Google在2013年就开始研发定制芯片，TPU项目是如何发展到今天的？
Amin Vahdat：2013年，定制加速器还是一个相对逆主流的选择。当时很多人认为，通用处理器和标准编程模型已经足够强大，没有必要针对少数工作负载开发专用芯片。但Google有一些任务需要消耗大量通用CPU资源，而专用加速器有机会显著提高效率，这最终促成了TPU项目。
第一代TPU主要用于推理，包括语言翻译和语音识别。之后，我们开始将TPU用于训练。随着Transformer的发展，以及推荐系统、广告等新场景的加入，TPU的适用范围不断扩大，系统规模也越来越大。到了2026年，我们选择了进一步区分训练和推理的路线，推出TPU 8i和TPU 8t，分别针对推理和训练进行优化。
Sonya Huang：为什么不只设计一款通用芯片，让它同时处理训练和推理？
Amin Vahdat：这取决于特定工作负载的规模，以及它在未来几年能否持续增长。硬件越专用，通常越快、能效越高，但灵活性也越低。
如果某种工作负载只会持续一两个月，即使短期需求很大，也未必值得为它开发专用芯片。芯片项目有很高的固定成本，必须判断这类需求在硬件使用周期内是否足够持久。
TPU 8i和TPU 8t的设计也保留了灵活性：两款芯片都可以运行另一类工作负载，只是在各自擅长的任务上更有优势。这样，即使某一类任务的需求变化，也不至于让另一款芯片的剩余容量完全无法利用。
Sonya Huang：从芯片到模型、软件和网络，协同设计的价值在哪里？它是否会牺牲系统的通用性？
Amin Vahdat：协同设计能带来很大的优化空间。如果每一层都追求完全通用，希望系统可以运行在任何硬件、软件和网络拓扑上，那么灵活性确实更好，但也可能损失相当一部分性能。
Google与DeepMind在模型和硬件设计上密切合作。模型团队如果发现某种优化能够显著提升效率，而芯片还没有完成流片，我们就可以一起评估是否调整芯片设计。有时，为了获得足够大的收益，我们甚至可能将流片推迟一两周。
硬件设计周期通常以几年计算，因此这种合作还需要提前布局。我们会同时推进多个阶段的芯片项目，并与DeepMind共同评估未来两三年可能出现的模型架构。
Sonya Huang：你曾经公开谈过开放标准。垂直整合如何兼顾开放性，避免形成封闭生态？
Amin Vahdat：这确实很重要。Google内部广泛使用JAX，但许多客户更习惯PyTorch。因此，我们也提供TorchTPU，让未经修改的PyTorch模型能够运行在TPU上。我们不希望用户因为选择TPU，就被迫使用唯一的编程框架，也不希望整个系统变成封闭的技术生态。开放标准的意义，在于让不同的软件和硬件能够通过共同接口协同工作。
以互联网协议IP为例，开放标准让不同软件和硬件能够接入同一个网络，推动了互联网的发展。AI基础设施同样需要开放接口，最好还能得到开源技术的支持。
Google也在支持CPU、GPU和其他加速器。垂直整合有助于释放性能，但不应该以牺牲用户选择和系统互操作性为代价。
04. 长流程Agent正在改变数据中心的计算结构
Sonya Huang：长流程智能体（Long-Horizon Agent）的兴起，对数据中心的需求意味着什么？
Amin Vahdat：一个重要变化是，计算不再主要由人和模型之间的交互节奏决定。过去，用户提出问题后，需要花几秒甚至几十秒阅读回答、思考并提出下一个问题，这个过程天然限制了请求的速度。智能体则不同，一旦收到模型的回答，它就可以继续解析、推理，并在毫秒级时间尺度上发出下一次请求，人不再是限制请求速度的因素。
另一个变化是，智能体的推理和任务编排会消耗大量CPU资源。它需要判断下一步要做什么、获取哪些上下文，并从本地或其他CPU的DRAM、SSD乃至HDD中读取信息。这意味着，需求增长的不只是加速器，传统CPU、网络和存储同样会承受更大压力，数据中心的整体设计也需要随之调整。
Sonya Huang：这是否意味着需要把更多CPU放到GPU或TPU机柜旁边？
Amin Vahdat：这是需要权衡的问题。TPU机柜的计算密度和网络需求通常高于CPU机柜。如果把大量CPU直接放在旁边，就可能限制加速器集群的布局和专用化程度。
另一种方案是把CPU、加速器和存储分别放在不同建筑中，但这样又会增加建筑之间的网络复杂度、成本和延迟。因此，智能体带来的变化，不只是增加设备数量，还会影响计算、存储和网络的空间布局。
训练与推理也有不同的需求。训练往往受益于规模更大、连接更紧密的集群；推理则需要面向全球用户部署服务，并考虑地域和访问延迟。因此，不能仅仅依赖旧训练集群转做推理，还需要在不同地区建设相应的服务集群。
Sonya Huang：Google在光网络方面有哪些进展？
Amin Vahdat：我们很早就在数据中心采用波分复用技术，让多路信号共用一根光纤，同时引入了光路交换。它可以通过改变光信号的连接路径，重新配置网络，而不需要人工移动光纤。这对于大规模TPU集群尤其有用。如果一个TPU机柜发生故障，我们可以将连接重新引导到备用机柜，整个过程能够在毫秒级完成。
对于大规模同步计算而言，性能不仅取决于芯片本身，还取决于网络能否高效连接各个计算节点，以及发生故障时能否快速恢复。
05. 电力是最根本的长期约束
Sonya Huang：在AI数据中心的建设中，电力是否已经成为最稀缺的资源？
Amin Vahdat：所有环节都有约束，而且约束会不断变化。但如果必须选择一项最根本的长期约束，我会选择电力。
Google更倾向于与公用事业公司合作，接入电网，而不是完全独立供电。吉瓦级数据中心需要提前多年规划。建设输电线路、升级变电站等基础设施所产生的成本，也应该由我们承担相应部分，避免因为满足数据中心的需求而把成本转嫁给其他用户。
如果计划需要1吉瓦电力，但公用事业公司在目标时间只能提供700兆瓦，我们可以选择等待，也可考虑通过太阳能、电池或其他发电方式补足差额。某些情况下，数据中心还能在电力需求较低时向电网回供电力。
电网合作的优势之一，是可以在更大规模上统筹供需。如果完全独立供电，同时要求极高的可靠性，就可能需要建设大量冗余发电能力，成本会很高。
Sonya Huang：那么数据中心应该建多大？旧一代芯片又应该使用多久？
Amin Vahdat：数据中心没有统一的最佳规模。在网络边缘或面向特定国家和地区部署的场景中，需求可能只有数十兆瓦，甚至只需要一个机柜；训练集群则可能接近吉瓦级，其他数据中心可能达到数百兆瓦。
旧硬件也不会因为新一代产品出现就立即失去价值。我们七八年前的TPU仍然保持着100%的利用率。当然，考虑到新一代芯片的能效优势，以及大约六年的折旧周期，最终更换硬件依然有意义。
但更换时考虑的不是单颗芯片，而是整个系统。一个TPU Pod可能包含约9600颗芯片和140多个机柜。新一代系统的物理布局未必与旧系统完全一致，因此还需要考虑空间改造、系统替换和部署效率。
Sonya Huang：AI是否也开始改变基础设施团队自身的工作方式？
Amin Vahdat：是的。Google的硬件工程师现在使用AI的程度已经不亚于软件工程师。AI不仅帮助软件开发和测试，也在辅助硬件设计。芯片从设计启动到流片，以及流片后的调试和验证，所需时间都在缩短。
AI也正在改变数据中心规划的流程。例如，评估建设一座吉瓦级数据中心，还是建设多个100至200兆瓦的园区，过去高度依赖人工分析和表格。现在，AI能够更高效地收集和整合信息，让决策者更快获得所需依据。但它并没有取代人的判断。
Sonya Huang：Google正在探索轨道数据中心。你怎么看这个方向？
Amin Vahdat：这是我们认真投入的一个探索方向。太空中的太阳能不受大气衰减影响，可获得的太阳能约为地面的1.4倍。在太阳同步轨道上，太阳能电池板获得日照的时间比例可达到98%至100%，而地面大约是28%至35%。
这意味着轨道数据中心可能获得更持续的太阳能供给。但挑战也很大：太空中的散热并不比地面容易，维修也更加困难，因此系统可靠性和冗余设计会格外重要。目前我们没有看到无法克服的根本性障碍，但仍有许多技术问题需要解决。
如果把视线放到2036年，我猜测未来的超级计算机机柜可能会高度集成，减少机柜内部的光纤连接，甚至达到单机柜数兆瓦的功率规模。这只是对技术趋势的推测，届时硬件架构具体会是什么样子，仍无法确定。
结语
从芯片、模型和软件的协同设计，到智能体对CPU、网络和存储的新增需求，再到电力供应和数据中心的空间布局，AI基础设施正在成为一个必须整体优化的复杂系统。
单颗芯片的峰值性能固然重要，但真正决定系统价值的，是计算资源能否被充分利用，故障能否快速恢复，硬件能否适配不断变化的工作负载，以及整个系统能否在有限的电力和物理空间中持续交付有效产出。对于下一阶段的AI发展，这些问题与芯片本身同样重要。
Insights｜前Khosla Ventures合伙人Nikunj Kothari：机器人行业最大的挑战，是从试点走向规模化落地
来源：The Prospect · 微信公众号 · mp.weixin.qq.com