a16z 投资 Gimlet Labs：打造首个多芯片推理云

a16z 宣布投资 Gimlet Labs，后者正在构建首个多芯片推理云，可将不同模型与工具调度到 GPU、CPU 及专用加速器上，在相同功耗下实现前沿模型最高 10 倍吞吐与交互性提升。Gimlet 通过编译器与运行时把异构硬件整合为单一算力池，对开发者仅暴露一个推理 API，客户已包括一家前沿实验室和一家超大规模云厂商。