2026 年 10 月 13 日，NVIDIA 宣布把完整的 Run:ai 平台代码对外全量发布，作为 NVIDIA DSX AI Factory 平台上 AI 工作负载与 GPU 编排的基础。对云原生团队而言，这意味着 Kubernetes 上的 GPU调度、GPU 分片与集群配额管理，第一次有了可自行部署、可二次开发的统一底座。本次发布包含四个可独立采用的核心组件，覆盖从 GPU 感知调度、容器级 GPU 共享，到组织级资源治理与工作负载契约的完整链路，目标是提升共享 AI 基础设施的 GPU 利用率与吞吐。
四个可独立采用的组件
官方列出四个模块：KAI Scheduler 是支撑 Run:ai 的 Kubernetes 原生调度器；GPU Fractioning Operator 让 CUDA 原生 GPU 分片在集群里可用；KAI Resource Management 负责组织层级、配额与公平共享；Workload Map 提供统一的工作负载管理契约。平台团队既可以整体采用 Run:ai，也可以按能力缺口只接入其中某个组件，这种“可拆分”设计显著降低了采用门槛。
KAI Scheduler：为大规模 GPU 工作负载而生
KAI Scheduler 以 Apache 2.0 许可发布，并已贡献给 CNCF Sandbox，后续调度器开发都在社区仓库进行。它面向规模化 GPU 工作负载，支持带预调度内存模拟的 gang scheduling（多 Pod 作业全有或全无地放置，避免无谓驱逐）、公平共享与配额、拓扑感知与装箱、GPU 共享（MIG、MPS、时间共享、HaMi 以及 CUDA 13.4 MPS 分片），并支持动态资源分配（DRA）。它可以与现有技术栈共存，无需部署完整平台。
CUDA 13.4 原生 GPU 分片
过去 Run:ai 用专有实现提供分数 GPU 分配，如今该实现已退役，改由 CUDA 13.4 的原生能力承担：CUDA 驱动对每个工作负载强制 GPU 内存硬上限，每个工作负载只能看到分配给自己的那部分显存。GPU Fractioning Operator 则补上 Kubernetes 侧的集成层，把可用的 GPU 容量翻译成实际的放置决策，并提供按 Pod 可见的指标导出，且不绑定特定调度器。
生态伙伴与采用方式
Crusoe、Mirantis、Nebius、OpenNebula Systems、Rafay、Saturn Cloud、Spectro Cloud 与 vCluster 等 8 家 DSX 生态伙伴宣布把该平台集成进各自产品。完整平台代码托管在 NVIDIA DSX AI Factory 的 GitHub 组织下，并在 NVIDIA NGC 上以 Community Product 形式提供，附带安装整套栈的 Helm chart，无需付费订阅或企业支持即可使用。
Model Streamer：压缩推理冷启动
配套的 Model Streamer 解决推理工作负载冷启动慢的问题：它并发读取模型权重并直接流式写入显存，缩短大模型加载时间。官方称其已被推理引擎与云厂商采纳，在 vLLM 与 SGLang 中可通过 --load-format runai_streamer 启用，AWS 的 EKS 推理文档与 Google Cloud 的 GKE 文档也将其作为推荐的快速加载路径。
小结
NVIDIA 于 2026 年 10 月 13 日把 Run:ai 平台代码全量放出，并把 GPU 感知调度、CUDA 原生分片、组织级配额与工作负载契约拆成可独立采用的组件。对云原生基础设施领域来说，这是一次把商业级 GPU 编排能力下沉为公共底座的关键动作。