NVIDIA宣布推出 NVIDIA Grove，一个在 Kubernetes 集群上运行现代机器学习推理工作负载的 Kubernetes API。Grove 现已作为模块化组件集成至 NVIDIA Dynamo，它完全开源，可在 ai-dynamo/grove GitHub 库使用。
NVIDIA Grove 如何整体性编排推理负载：Grove 能够将多节点推理部署从单个副本扩展到数据中心规模，支持数万个 GPU。Grove 可将 Kubernetes 中的整个推理服务系统(例如预填充、解码、路由或任何其他组件)描述为单个自定义资源 (Custom Resource, CR)。
根据该单一配置文件，平台可协调层级化调度、拓扑感知的放置、多级自动扩缩容以及明确的启动顺序。您可以精准控制系统的行为方式，而无需将脚本、YAML 文件或自定义控制器拼接在一起。
Grove 最初是为了解决多节点 PD 分离推理系统的编排问题而开发的，它具有足够的灵活性，可以自然地映射到任何现实世界的推理架构，从传统的单节点聚合推理到具有多个模型的代理式管道。Grove 使开发者能够以简洁、声明式且与框架无关的方式定义复杂的 AI 堆栈。
Grove 原语：高性能推理框架使用 Grove 层级化 API 来表达角色特定的逻辑和多级扩展，从而在跨多种集群环境中实现一致且优化的部署。Grove 通过在其 Workload API 中使用三种层次化的自定义资源编排多组件 AI 工作负载，来实现这一点。
最终结果是多组件 AI 系统的协调部署，其中预填充服务、解码工作节点和路由组件按正确顺序启动，紧密放置在网络拓扑上以提高性能，并作为一个整体共同自愈。这防止了资源碎片化，避免了部分部署，并能够大规模稳定高效地运行复杂的模型服务管道。
如何使用 Dynamo 快速上手 Grove：原文将分享如何使用 Dynamo 和 Grove 通过 KV 路由部署组件部署 PD 分离服务架构。该设置使用 Qwen3 0.6B 模型，并演示了 Grove 通过独立的预填充和解码工作节点管理分布式推理工作负载的能力。
