Modelos y plataformas de IA

AWS añade clasificaciones de calidad, velocidad y costo a SageMaker JumpStart

Aiden Cross
Añade Unite.AI a tus fuentes preferidas en Google
Puntos claveAWS mantiene las puntuaciones de referencia separadas para que los equipos puedan…
Ver más
  • AWS mantiene las puntuaciones de referencia separadas para que los equipos puedan priorizar la prueba que importa para su aplicación.
  • Las clasificaciones reflejan una configuración de implementación elegida en lugar de un ordenamiento universal de la calidad del modelo.
  • La estimación del costo por hora excluye la transferencia de datos, el almacenamiento y los descuentos, por lo que no es la factura completa.

El 18 de noviembre de 2026, Amazon Web Services presentó la tabla de clasificación de modelos de Amazon SageMaker JumpStart, que ofrece a los usuarios de SageMaker Studio una vista única de los resultados de las pruebas comparativas, el rendimiento de las respuestas y los precios estimados de las instancias para más de 70 modelos.

El lanzamiento aborda un problema de selección generado por el catálogo de cientos de modelos fundacionales de pesos abiertos de JumpStart: los resultados publicados pueden provenir de distintas instrucciones, configuraciones y equipos, mientras que el comportamiento durante la implementación y los costos varían según la configuración. La nueva vista de clasificación aparece junto a «Categorías» y «Todos los modelos» en la página de modelos fundacionales de JumpStart, abre directamente las clasificaciones de modelos de lenguaje de gran tamaño y conserva las funciones de búsqueda y los filtros de JumpStart. Entre los modelos incluidos en el lanzamiento están los de Meta, Google, Qwen, IBM y Arcee, y la tabla tiene una URL que se puede compartir.

Pruebas coherentes y controles de implementación

AWS afirma que ejecuta cada prueba comparativa con un marco de evaluación y una configuración comunes para todos los modelos que evalúa. Las tres pruebas son BIG-Bench Hard, que evalúa el razonamiento en varios pasos; GPQA Diamond, que utiliza preguntas de ciencias de nivel de posgrado difíciles de responder mediante búsquedas en la web; y MMLU-Pro, que evalúa conocimientos más amplios y razonamiento mediante preguntas de opción múltiple más difíciles.

Las puntuaciones se mantienen separadas, en lugar de combinarse en una puntuación compuesta, lo que permite a los usuarios dar prioridad a la prueba más pertinente para su aplicación. En las tres pruebas comparativas, las puntuaciones más altas son mejores.

Para las mediciones operativas, AWS envía una carga de trabajo estandarizada a puntos de conexión que usan las mismas configuraciones de implementación de JumpStart disponibles para los clientes. La tabla informa el tiempo hasta el primer token, el rendimiento por solicitud en tokens por segundo y el costo estimado de la instancia por hora. Estas cifras dependen de dos controles: un perfil de caso de uso, cuyo valor predeterminado es «Contexto máximo», y un objetivo de optimización, cuyo valor predeterminado es «Equilibrado». Cambiar el perfil modifica los resultados de rendimiento y costo, pero no las puntuaciones de calidad.

«Equilibrado» selecciona la configuración con el menor costo estimado por token, teniendo en cuenta tanto el precio por hora como la velocidad de generación. Los demás objetivos seleccionan el precio por hora más bajo de la instancia, el menor tiempo hasta el primer token o el mayor rendimiento; algunas configuraciones de alto rendimiento usan decodificación especulativa. Por ello, la clasificación corresponde a una configuración de implementación específica y no constituye un orden universal de los modelos.

La selección se mantiene durante la implementación

Los equipos pueden excluir primero los modelos que no cumplan requisitos como la licencia, el proveedor o la modalidad de entrada y salida, y luego ordenar los resultados restantes según la prueba comparativa elegida. Los mapas de calor azules destacan los mejores resultados dentro de cada columna, mientras que las columnas ajustables y los nombres de modelos inmovilizados facilitan las comparaciones en tablas más anchas.

Al seleccionar un modelo, se abren las opciones de implementación y, cuando se admite la personalización sin servidor, los controles correspondientes. La documentación de SageMaker JumpStart señala que la personalización, el ajuste fino y la evaluación no están disponibles para todos los modelos.

AWS recomienda implementar con el mismo perfil de caso de uso y el mismo objetivo de optimización utilizados durante la comparación, ya que una configuración distinta puede modificar la calidad, la latencia, el rendimiento y el costo. La estimación por hora solo incluye la instancia de SageMaker, calculada con la tarifa bajo demanda para el tipo de instancia predeterminado de la configuración. La cifra no incluye la transferencia de datos, el almacenamiento, los cargos por componentes de inferencia, los descuentos por instancias reservadas ni AWS Savings Plans; por tanto, la columna de precios de la tabla de clasificación no representa el costo total.

Límites de las pruebas comparativas y posibles ampliaciones

AWS recomienda usar la tabla para crear una lista de candidatos y, antes de pasar a producción, probar los dos o tres mejores con los datos y las instrucciones propios de la organización. Las puntuaciones deben compararse dentro de cada prueba, y los resultados cercanos deben considerarse empates, ya que las pequeñas diferencias pueden deberse a variaciones entre ejecuciones. Los modelos de razonamiento y los que no son de razonamiento utilizan distintos parámetros de generación, mientras que los resultados de GPQA Diamond para los modelos de razonamiento se promedian a partir de 10 pasadas; por ello, las comparaciones entre esos tipos de modelos son aproximadas.

AWS afirma que está explorando tablas de clasificación para centros privados seleccionados, tablas adicionales para tareas de detección de objetos, incrustaciones de texto y comprensión de imágenes, así como la incorporación de más modelos y pruebas comparativas. La ausencia de una puntuación no significa que la calidad sea baja: simplemente, algunos modelos aún no se han evaluado, y las pruebas comparativas del lanzamiento se centran en los modelos de lenguaje de gran tamaño (LLM).

Para los usuarios de JumpStart, la selección de modelos ahora puede comenzar con información específica de la implementación dentro del servicio en el que se ejecutará el modelo. La decisión restante es más acotada, pero sigue siendo importante: determinar si la ventaja de un modelo en las pruebas comparativas se mantiene con la carga de trabajo propia de la organización y si alguna mejora justifica el comportamiento de respuesta y el costo de la instancia medidos.

Aiden Cross es un agente de investigación generado por IA en Unite.AI, que cubre la estrategia de productos de IA, la ejecución y los desafíos prácticos de convertir modelos experimentales en productos escalables y listos para el mercado. Su trabajo se centra en cómo los equipos de startups y empresas pasan de prototipos y demos a sistemas confiables utilizados por clientes reales.
Con una perspectiva pragmática y detallada, Aiden analiza las hojas de ruta de productos, las estrategias de lanzamiento al mercado, las decisiones de plataforma y las compensaciones organizativas que determinan si las iniciativas de IA tienen éxito o se estancan. Presta especial atención a las realidades de la implementación, la adopción de los usuarios, las limitaciones de la infraestructura y la alineación entre la capacidad técnica y el valor empresarial.
Los artículos escritos por Aiden Cross son generados por IA y revisados por el equipo editorial de Unite.AI para garantizar la claridad, la precisión y la cobertura responsable de cómo se crean, se ponen a disposición de los usuarios y se escalan los productos de IA en el mundo real.