Modelos e plataformas de IA
AWS adiciona classificações de qualidade, velocidade e custo ao SageMaker JumpStart

Pontos-chaveA AWS mantém as pontuações de benchmark separadas para que as equipes possam priorizar…
Ver mais
- A AWS mantém as pontuações de benchmark separadas para que as equipes possam priorizar o teste que importa para sua aplicação.
- Os rankings refletem uma configuração de implantação escolhida, em vez de uma ordenação universal da qualidade do modelo.
- A estimativa de custo por hora exclui transferência de dados, armazenamento e descontos, portanto não é a fatura completa.
Em 18 de novembro de 2026, a Amazon Web Services apresentou o quadro de classificação de modelos do Amazon SageMaker JumpStart, oferecendo aos usuários do SageMaker Studio uma visão única dos resultados de benchmarks, do desempenho das respostas e dos preços estimados das instâncias para mais de 70 modelos.
O lançamento responde a um problema de seleção criado pelo catálogo do JumpStart, que reúne centenas de modelos fundacionais de pesos abertos: os resultados publicados podem se basear em diferentes prompts, configurações e hardwares, enquanto o comportamento e o custo da implantação variam conforme a configuração. A nova visualização Leaderboard aparece ao lado de Categories e All models na página de modelos-base do JumpStart, abre diretamente as classificações de modelos de linguagem de grande escala e mantém os recursos de busca e filtragem do JumpStart. A cobertura do lançamento inclui Meta, Google, Qwen, IBM e Arcee, e o quadro tem um URL compartilhável.
Testes consistentes e controles de implantação
A AWS afirma que executa cada benchmark com uma estrutura de avaliação e configurações comuns para os modelos que testa. Os três testes são BIG-Bench Hard, que avalia o raciocínio em várias etapas; GPQA Diamond, que usa questões científicas de nível de pós-graduação, difíceis de responder por meio de buscas na web; e MMLU-Pro, que testa conhecimentos mais amplos e raciocínio com questões de múltipla escolha mais difíceis.
As pontuações permanecem separadas, sem serem combinadas em uma pontuação composta, para que os usuários possam priorizar o teste mais relevante para sua aplicação. Pontuações mais altas são melhores nos três benchmarks.
Para as medições operacionais, a AWS envia uma carga de trabalho padronizada a endpoints que usam as mesmas configurações de implantação do JumpStart disponibilizadas aos clientes. O quadro informa o tempo até o primeiro token, a taxa de processamento por solicitação em tokens por segundo e o custo estimado da instância por hora. Esses valores dependem de dois controles: um perfil de caso de uso, cujo padrão é Contexto Máximo, e uma meta de otimização, cujo padrão é Equilibrado. Alterar o perfil modifica os resultados de desempenho e custo, mas não as pontuações de qualidade.
A opção Equilibrado escolhe a configuração com o menor custo estimado por token, levando em conta tanto o preço por hora quanto a velocidade de geração. As outras metas selecionam o menor preço por hora da instância, o menor tempo até o primeiro token ou a maior taxa de processamento; algumas configurações de taxa de processamento usam decodificação especulativa. Assim, a classificação é específica de uma configuração de implantação, em vez de representar uma ordenação universal dos modelos.
A seleção se reflete na implantação
As equipes podem primeiro excluir modelos que não atendam a requisitos como licença, provedor ou modalidade de entrada e saída e, em seguida, ordenar os modelos restantes pelo benchmark escolhido. Mapas de calor azuis destacam os melhores resultados em cada coluna, enquanto colunas ajustáveis e nomes de modelos fixos facilitam comparações mais amplas.
Ao selecionar um modelo, são abertas as opções de implantação e, quando há suporte à personalização sem servidor, os controles de personalização. A documentação do SageMaker JumpStart informa que a personalização, o ajuste fino e a avaliação não estão disponíveis para todos os modelos.
A AWS recomenda implantar usando o mesmo perfil de caso de uso e a mesma meta de otimização utilizados na comparação, pois outra configuração pode alterar a qualidade, a latência, a taxa de processamento e o custo. A estimativa por hora cobre somente a instância do SageMaker, com a tarifa sob demanda para o tipo de instância padrão da configuração. A transferência de dados, o armazenamento, as cobranças por componentes de inferência, os descontos de Instâncias Reservadas e os AWS Savings Plans não estão incluídos no valor; portanto, a coluna de preços do quadro não representa a fatura total.
Limites dos benchmarks e possíveis expansões
A AWS recomenda usar o quadro para elaborar uma lista de finalistas e, depois, testar os dois ou três principais candidatos com os dados e prompts da própria organização antes de colocá-los em produção. As pontuações devem ser comparadas dentro de cada benchmark, e resultados próximos devem ser tratados como empates, pois pequenas diferenças podem refletir variações entre execuções. Os modelos de raciocínio e os que não são de raciocínio usam parâmetros de geração diferentes, enquanto os resultados do GPQA Diamond para modelos de raciocínio são calculados pela média de 10 execuções; por isso, as comparações entre esses tipos de modelo são aproximadas.
A AWS afirma que está explorando quadros de classificação para hubs privados selecionados, quadros adicionais para tarefas de detecção de objetos, embeddings de texto e compreensão de imagens, além de mais modelos e benchmarks. A ausência de uma pontuação não indica baixa qualidade; alguns modelos simplesmente ainda não foram avaliados, e os benchmarks do lançamento se concentram em modelos de linguagem de grande escala (LLMs).
Para quem usa o JumpStart, a seleção de modelos agora pode começar com evidências específicas da implantação, dentro do serviço em que o modelo será executado. A decisão restante é mais restrita, mas continua tendo consequências: se a vantagem de um modelo em um benchmark se mantém na carga de trabalho da própria organização e se algum ganho justifica o comportamento de resposta e o custo da instância medidos.












