2026 年 9 月 18 日，AWS 宣布推出 Amazon SageMaker HyperPod Inference Gateway：一个 Kubernetes 原生、GPU 感知的推理路由系统，以单个 EKS 托管插件部署到现有 HyperPod 基础设施。本文从云原生基础设施视角解读。
朴素路由为何浪费 GPU
据 AWS 官方博客，默认 Kubernetes 负载均衡器采用轮询或最少连接策略，对 GPU 内部状态毫无感知：哪些 Pod 的 KV 缓存接近饱和、哪些正处于长上下文生成中、哪些已加载所需的 LoRA 适配器。结果是请求在繁忙 Pod 后堆积，而空闲算力未被利用，流量高峰时首字延迟升至 4 秒以上，团队只能过度配置 GPU 来兜底，直接推高基础设施成本。
架构与三大组件
该网关完全基于 Kubernetes 原语与开源 Gateway API Inference Extension 构建，包含三个核心组件：Envoy Gateway 作为高性能七层代理终结 HTTPS；Body-Based Router（BBR）解析 OpenAI 兼容请求体中的 model 字段，实现多模型路由；Endpoint Picker（EPP）作为智能层，消费各模型服务 Pod 的实时 Prometheus 指标，按 KV 缓存利用率、队列深度、LoRA 适配器驻留、前缀缓存命中率与在途请求数加权打分，权重均可配置。用户通过一个 InferenceGatewayConfig CRD 声明整个路由拓扑，无需 sidecar 或服务网格。
实测性能数据
官方在 p5.48xlarge（H100）与 g5（A10G）实例上，对参数规模 80 亿至 2,350 亿的四个模型做了基准测试：整体首字延迟最高降低 82%，典型聊天场景从约 4.4 秒降至 800 毫秒以内；混合 GPU 代际场景下 Llama-3.1-8B 的 TTFT P95/P99 均下降 97%、吞吐提升 8%，Qwen3-32B 的 P95 下降 98%、吞吐提升 50%；突发流量下 Llama-3.1-70B 的 P95 下降 94%、P99 下降 98%、吞吐提升 12%，Qwen3-235B 的 P99 下降 89%。官方也指出，在完全均匀的集群与稳定流量下，其表现与轮询基本持平，收益主要来自真实生产环境的异构、突发与共享前缀条件。
兼容性与路线图
网关暴露标准 OpenAI 兼容端点，支持 vLLM、SGLang、TGI 等模型服务，模型服务器与客户端均无需改动，推理流量无需 SigV4 签名；LoRA 请求会被优先路由到已驻留适配器的 Pod。故障处理上，Pod 故障自动剔除、池耗尽返回带 Retry-After 的 429、集群故障约 35 秒内重定向。第二层 Global Inference Router 将提供跨集群与跨区域故障转移、全局限流与成本感知调度，金丝雀流量拆分与优先级流控也在规划中。
小结
AWS 于 2026 年 9 月 18 日推出 SageMaker HyperPod Inference Gateway，以 Kubernetes 单插件、GPU 实时信号选点与最高 82% 的首字延迟下降为看点，是云原生基础设施领域推理路由方向的一次重要进展。