Modelli e piattaforme di IA
AWS aggiunge classifiche di qualità, velocità e costi a SageMaker JumpStart

Punti chiaveAWS mantiene separati i punteggi di benchmark in modo che i team possano dare priorità…
Vedi di più
- AWS mantiene separati i punteggi di benchmark in modo che i team possano dare priorità al test che conta per la loro applicazione.
- Le classifiche riflettono una configurazione di distribuzione scelta anziché un ordinamento universale della qualità del modello.
- La stima del costo orario esclude il trasferimento dei dati, l'archiviazione e gli sconti, quindi non rappresenta il conto completo.
Il 18 novembre 2026, Amazon Web Services ha presentato la classifica dei modelli di Amazon SageMaker JumpStart, offrendo agli utenti di SageMaker Studio un’unica schermata con i risultati dei benchmark, le prestazioni di risposta e i prezzi stimati delle istanze per oltre 70 modelli.
Il lancio affronta un problema di selezione dovuto al catalogo di JumpStart, che comprende centinaia di modelli di base open-weight: i risultati pubblicati possono derivare da prompt, impostazioni e hardware diversi, mentre il comportamento durante la distribuzione e i costi variano in base alla configurazione. La nuova vista Classifica si trova accanto a Categorie e Tutti i modelli nella pagina dei modelli di base di JumpStart, si apre direttamente sulle classifiche dei modelli linguistici di grandi dimensioni e mantiene le funzioni di ricerca e filtro di JumpStart. Al lancio sono inclusi Meta, Google, Qwen, IBM e Arcee, e la classifica è accessibile tramite un URL condivisibile.
Test coerenti e controlli per la distribuzione
AWS dichiara di eseguire ciascun benchmark con un sistema di valutazione e impostazioni comuni per tutti i modelli testati. I tre test sono BIG-Bench Hard, che valuta il ragionamento in più passaggi; GPQA Diamond, basato su domande scientifiche di livello universitario a cui è difficile rispondere tramite ricerche sul web; e MMLU-Pro, che verifica conoscenze più ampie e capacità di ragionamento con domande a scelta multipla più impegnative.
I punteggi restano separati e non vengono aggregati in un unico indice, così gli utenti possono dare priorità al test più pertinente per la propria applicazione. Per tutti e tre i benchmark, i punteggi più alti sono migliori.
Per le misurazioni operative, AWS invia un carico di lavoro standardizzato a endpoint che utilizzano le stesse configurazioni di distribuzione di JumpStart disponibili per i clienti. La classifica riporta il tempo al primo token, la velocità di elaborazione per richiesta in token al secondo e il costo orario stimato dell’istanza. Questi valori dipendono da due impostazioni: un profilo d’uso, che per impostazione predefinita è Contesto massimo, e un obiettivo di ottimizzazione, che per impostazione predefinita è Bilanciato. Modificando il profilo cambiano i risultati relativi a prestazioni e costi, mentre i punteggi di qualità restano invariati.
L’obiettivo Bilanciato seleziona la configurazione con il costo stimato per token più basso, tenendo conto sia del prezzo orario sia della velocità di generazione. Gli altri obiettivi selezionano il prezzo orario dell’istanza più basso, il tempo al primo token più breve o la velocità di elaborazione più elevata; alcune configurazioni orientate alla velocità di elaborazione utilizzano la decodifica speculativa. La classifica si riferisce quindi a una specifica configurazione di distribuzione e non costituisce un ordinamento universale dei modelli.
La selezione prosegue nella distribuzione
I team possono innanzitutto escludere i modelli che non soddisfano requisiti quali licenza, provider o modalità di input e output, quindi ordinare le voci rimanenti in base al benchmark prescelto. Le mappe di calore blu evidenziano i risultati migliori nelle singole colonne, mentre la possibilità di regolare le colonne e mantenere fissi i nomi dei modelli facilita i confronti su tabelle più ampie.
Selezionando un modello si aprono le opzioni di distribuzione e, quando è supportata la personalizzazione serverless, i relativi controlli. La documentazione di SageMaker JumpStart specifica che la personalizzazione, la messa a punto e la valutazione non sono disponibili per tutti i modelli.
AWS consiglia di effettuare la distribuzione usando lo stesso profilo d’uso e lo stesso obiettivo di ottimizzazione impiegati nel confronto, perché una configurazione diversa può modificare qualità, latenza, velocità di elaborazione e costi. La stima oraria comprende soltanto l’istanza SageMaker, calcolata alla tariffa on demand per il tipo di istanza predefinito della configurazione. Il trasferimento dei dati, lo spazio di archiviazione, i costi dei componenti di inferenza, gli sconti sulle istanze riservate e i piani AWS Savings Plans non sono inclusi: la colonna dei prezzi della classifica non rappresenta quindi il costo totale.
Limiti dei benchmark e possibili ampliamenti
AWS consiglia di usare la classifica per creare una rosa di candidati, quindi di testare i due o tre modelli migliori con i dati e i prompt dell’organizzazione prima di passare alla produzione. I punteggi vanno confrontati all’interno di ciascun benchmark; risultati ravvicinati andrebbero considerati alla pari, perché piccole differenze possono dipendere dalla variabilità tra un’esecuzione e l’altra. I modelli con capacità di ragionamento e quelli senza utilizzano parametri di generazione diversi, mentre i risultati di GPQA Diamond per i modelli con capacità di ragionamento sono calcolati come media di 10 esecuzioni: i confronti tra queste tipologie di modelli sono quindi approssimativi.
AWS dichiara di stare valutando la creazione di classifiche per hub privati curati, di ulteriori classifiche per attività quali il rilevamento di oggetti, gli embeddings di testo e la comprensione delle immagini, nonché l’aggiunta di altri modelli e benchmark. L’assenza di un punteggio non indica una qualità scadente: alcuni modelli semplicemente non sono ancora stati sottoposti ai benchmark e quelli del lancio si concentrano sui modelli linguistici di grandi dimensioni (LLM).
Per chi usa JumpStart, la selezione dei modelli può ora partire da dati specifici per la distribuzione, disponibili direttamente nel servizio in cui il modello verrà eseguito. La decisione restante è più circoscritta, ma continua ad avere conseguenze importanti: occorre stabilire se il vantaggio di un modello nei benchmark si conferma con il carico di lavoro effettivo dell’organizzazione e se gli eventuali benefici giustificano il comportamento di risposta e i costi dell’istanza rilevati.












