Modelos e plataformas de IA

AWS adiciona classificações de qualidade, velocidade e custo ao SageMaker JumpStart

Aiden Cross
Adicione Unite.AI às suas fontes preferidas no Google
Pontos-chaveA AWS mantém as pontuações de benchmark separadas para que as equipes possam priorizar…
Ver mais
  • A AWS mantém as pontuações de benchmark separadas para que as equipes possam priorizar o teste que importa para sua aplicação.
  • Os rankings refletem uma configuração de implantação escolhida, em vez de uma ordenação universal da qualidade do modelo.
  • A estimativa de custo por hora exclui transferência de dados, armazenamento e descontos, portanto não é a fatura completa.

Em 18 de novembro de 2026, a Amazon Web Services apresentou o quadro de classificação de modelos do Amazon SageMaker JumpStart, oferecendo aos usuários do SageMaker Studio uma visão única dos resultados de benchmarks, do desempenho das respostas e dos preços estimados das instâncias para mais de 70 modelos.

O lançamento responde a um problema de seleção criado pelo catálogo do JumpStart, que reúne centenas de modelos fundacionais de pesos abertos: os resultados publicados podem se basear em diferentes prompts, configurações e hardwares, enquanto o comportamento e o custo da implantação variam conforme a configuração. A nova visualização Leaderboard aparece ao lado de Categories e All models na página de modelos-base do JumpStart, abre diretamente as classificações de modelos de linguagem de grande escala e mantém os recursos de busca e filtragem do JumpStart. A cobertura do lançamento inclui Meta, Google, Qwen, IBM e Arcee, e o quadro tem um URL compartilhável.

Testes consistentes e controles de implantação

A AWS afirma que executa cada benchmark com uma estrutura de avaliação e configurações comuns para os modelos que testa. Os três testes são BIG-Bench Hard, que avalia o raciocínio em várias etapas; GPQA Diamond, que usa questões científicas de nível de pós-graduação, difíceis de responder por meio de buscas na web; e MMLU-Pro, que testa conhecimentos mais amplos e raciocínio com questões de múltipla escolha mais difíceis.

As pontuações permanecem separadas, sem serem combinadas em uma pontuação composta, para que os usuários possam priorizar o teste mais relevante para sua aplicação. Pontuações mais altas são melhores nos três benchmarks.

Para as medições operacionais, a AWS envia uma carga de trabalho padronizada a endpoints que usam as mesmas configurações de implantação do JumpStart disponibilizadas aos clientes. O quadro informa o tempo até o primeiro token, a taxa de processamento por solicitação em tokens por segundo e o custo estimado da instância por hora. Esses valores dependem de dois controles: um perfil de caso de uso, cujo padrão é Contexto Máximo, e uma meta de otimização, cujo padrão é Equilibrado. Alterar o perfil modifica os resultados de desempenho e custo, mas não as pontuações de qualidade.

A opção Equilibrado escolhe a configuração com o menor custo estimado por token, levando em conta tanto o preço por hora quanto a velocidade de geração. As outras metas selecionam o menor preço por hora da instância, o menor tempo até o primeiro token ou a maior taxa de processamento; algumas configurações de taxa de processamento usam decodificação especulativa. Assim, a classificação é específica de uma configuração de implantação, em vez de representar uma ordenação universal dos modelos.

A seleção se reflete na implantação

As equipes podem primeiro excluir modelos que não atendam a requisitos como licença, provedor ou modalidade de entrada e saída e, em seguida, ordenar os modelos restantes pelo benchmark escolhido. Mapas de calor azuis destacam os melhores resultados em cada coluna, enquanto colunas ajustáveis e nomes de modelos fixos facilitam comparações mais amplas.

Ao selecionar um modelo, são abertas as opções de implantação e, quando há suporte à personalização sem servidor, os controles de personalização. A documentação do SageMaker JumpStart informa que a personalização, o ajuste fino e a avaliação não estão disponíveis para todos os modelos.

A AWS recomenda implantar usando o mesmo perfil de caso de uso e a mesma meta de otimização utilizados na comparação, pois outra configuração pode alterar a qualidade, a latência, a taxa de processamento e o custo. A estimativa por hora cobre somente a instância do SageMaker, com a tarifa sob demanda para o tipo de instância padrão da configuração. A transferência de dados, o armazenamento, as cobranças por componentes de inferência, os descontos de Instâncias Reservadas e os AWS Savings Plans não estão incluídos no valor; portanto, a coluna de preços do quadro não representa a fatura total.

Limites dos benchmarks e possíveis expansões

A AWS recomenda usar o quadro para elaborar uma lista de finalistas e, depois, testar os dois ou três principais candidatos com os dados e prompts da própria organização antes de colocá-los em produção. As pontuações devem ser comparadas dentro de cada benchmark, e resultados próximos devem ser tratados como empates, pois pequenas diferenças podem refletir variações entre execuções. Os modelos de raciocínio e os que não são de raciocínio usam parâmetros de geração diferentes, enquanto os resultados do GPQA Diamond para modelos de raciocínio são calculados pela média de 10 execuções; por isso, as comparações entre esses tipos de modelo são aproximadas.

A AWS afirma que está explorando quadros de classificação para hubs privados selecionados, quadros adicionais para tarefas de detecção de objetos, embeddings de texto e compreensão de imagens, além de mais modelos e benchmarks. A ausência de uma pontuação não indica baixa qualidade; alguns modelos simplesmente ainda não foram avaliados, e os benchmarks do lançamento se concentram em modelos de linguagem de grande escala (LLMs).

Para quem usa o JumpStart, a seleção de modelos agora pode começar com evidências específicas da implantação, dentro do serviço em que o modelo será executado. A decisão restante é mais restrita, mas continua tendo consequências: se a vantagem de um modelo em um benchmark se mantém na carga de trabalho da própria organização e se algum ganho justifica o comportamento de resposta e o custo da instância medidos.

Aiden Cross é um agente de pesquisa gerado por IA na Unite.AI, cobrindo estratégia de produto de IA, execução e os desafios práticos de transformar modelos experimentais em produtos escaláveis e prontos para o mercado. Seu trabalho se concentra em como as startups e equipes de empresas mudam de protótipos e demonstrações para sistemas confiáveis usados por clientes reais.
Com uma perspectiva pragmática e detalhada, Aiden analisa roteiros de desenvolvimento de produtos, estratégias de entrada no mercado, decisões de plataforma e compensações organizacionais que determinam se as iniciativas de IA têm sucesso ou estagnam. Ele presta atenção especial às realidades de implantação, adoção de usuários, restrições de infraestrutura e alinhamento entre capacidade técnica e valor comercial.
Artigos escritos por Aiden Cross são gerados por IA e revisados pela equipe editorial da Unite.AI para garantir clareza, precisão e cobertura responsável de como os produtos de IA são construídos, disponibilizados e escalados no mundo real.