Amazon apresenta SageMaker HyperPod Inference Gateway e Kimi K3 no Bedrock

A Amazon anunciou o lançamento do SageMaker HyperPod Inference Gateway, um complemento nativo do Kubernetes que otimiza o roteamento de solicitações de inferência em clusters de GPU. Essa nova solução promete reduzir a latência do primeiro token em até 82%, sem a necessidade de modificações nos servidores de modelo ou nas aplicações dos clientes. O sistema utiliza sinais em tempo real das GPUs para direcionar cada solicitação ao pod mais adequado, evitando desperdícios de recursos e melhorando a eficiência operacional.

Além disso, a empresa também apresentou o Kimi K3, um modelo de IA desenvolvido pela Moonshot AI, agora disponível no Amazon Bedrock. O Kimi K3 é descrito como o modelo mais avançado da empresa, com 2,8 trilhões de parâmetros e capacidades nativas de visão. Ele oferece uma janela de contexto de 1 milhão de tokens e suporte para cache de prompts, o que pode reduzir a latência e os custos de entrada ao reutilizar contextos em chamadas de modelo.

Essas inovações refletem o compromisso da Amazon em aprimorar a infraestrutura de IA, permitindo que empresas adotem soluções mais eficientes e escaláveis. O SageMaker HyperPod Inference Gateway e o Kimi K3 são parte de um esforço contínuo da AWS para expandir suas ofertas em modelos de peso aberto e tecnologias de inferência, que têm se mostrado essenciais para o desenvolvimento de aplicações de IA em larga escala.

Com essas atualizações, a Amazon busca atender à crescente demanda por soluções de IA que não apenas sejam poderosas, mas também eficientes em termos de custo e desempenho. A introdução do Kimi K3 e do HyperPod Inference Gateway pode impactar significativamente empresas que utilizam IA em suas operações, especialmente aquelas que lidam com grandes volumes de dados e requerem respostas rápidas.