Ask HN：你如何运维开源 AI 基础设施？

Hacker News 上有人发起讨论，向在生产环境运行开源 AI 基础设施的从业者提问：使用了哪些开源 AI 技术、部署在哪里、面临哪些挑战。问题覆盖推理、编排、可观测性、向量搜索、数据管道、评估和模型管理，并点名成本、GPU 可用性、安全性和可管理性等潜在难点。