AWS 推出云原生 GPU 感知路由 HyperPod Inference Gateway:Kubernetes 单插件落地,首字延迟最高降低 82%
2026年9月18日,AWS 宣布推出 Amazon SageMaker HyperPod Inference Gateway。它是 Kubernetes 原生、GPU 感知的推理路由系统,以单个 EKS 托管插件形式部署,基于开源 Gateway API Inference Extension,由 Envoy Gateway、请求体路由器 BBR 与端点选择器 EPP 组成,依据 KV 缓存利用率、队列深度、LoRA 适配器驻留等实时信号选点。官方实测首字延迟(TTFT)最高降低 82%,聊天场景首字等待从约 4.4 秒降至 800 毫秒以内。本文从云原生基础设施视角解读。
查看详情 →