2026-09-19 · Fuente：Unite AI p3
El sistema de enrutamiento nativo de Kubernetes y consciente de las GPU para inferencia de LLM se despliega como un único complemento administrado para Amazon EKS y, según AWS, puede reducir la latencia del primer token hasta 82 por ciento.
Amazon Web Services ha presentado Amazon SageMaker HyperPod Inference Gateway, un sistema de enrutamiento nativo de Kubernetes y consciente de las GPU para la inferencia de grandes modelos de lenguaje. Anunciado el 18 de septiembre de 2026, el gateway se despliega como un único complemento administrado para Amazon EKS y opera sobre infraestructura HyperPod existente. Según AWS, el sistema puede reducir la latencia del primer token hasta un 82 por ciento, una métrica que mide la rapidez con la que un modelo comienza a devolver salida, y una medida clave de capacidad de respuesta para aplicaciones interactivas.
El lanzamiento apunta a lo que AWS enmarca como una debilidad estructural en cómo los clústeres de inferencia distribuyen el tráfico. En el relato de la compañía, los algoritmos de balanceo de carga por defecto de Kubernetes, como round-robin y least-connections, no tienen visibilidad, dejando que las solicitudes aterricen sin considerar los aceleradores que realmente las sirven. El Inference Gateway está diseñado para cerrar esa brecha tomando decisiones de enrutamiento conscientes de la disponibilidad de GPU en lugar de tratar los endpoints de inferencia como intercambiables.
Para los equipos que ejecutan serving de LLM en EKS, el modelo de complemento administrado significa que la capacidad llega sin un plano de control separado que construir o mantener, y como corre sobre infraestructura HyperPod existente, la adopción no requiere levantar nuevos clústeres. La mejora de hasta 82 por ciento en la latencia del primer token, sin embargo, es una cifra del proveedor; los operadores que evalúen el gateway para aplicaciones sensibles a la latencia querrán hacer benchmarks contra sus propias cargas de trabajo y mezcla de modelos antes de comprometerse.
Estratégicamente, el anuncio profundiza el papel de SageMaker HyperPod en el serving de cargas de trabajo y señala el impulso de AWS por hacer de la inferencia misma una capa administrada y optimizada de su pila de nube. A medida que la capacidad de respuesta del serving moldea cada vez más la economía de las aplicaciones de IA generativa, la inteligencia de enrutamiento emerge como un diferenciador entre los hiperescaladores, y AWS reclama ese terreno con herramientas nativas de Kubernetes que los clientes existentes pueden activar directamente.
Etiquetas: AWS · SageMaker HyperPod Inference Gateway · Amazon EKS · LLM Inference · Kubernetes · GPU-Aware Routing
萬安算交所 AIXX · AIXX · Exchange verificado · Ir al mercado