SemiAnalysis lancia GDPx, un benchmark che copre 11 domini agentici

Il 2 novembre 2026, SemiAnalysis ha presentato GDPx, un benchmark delle capacità agentiche generali che copre 11 ambiti professionali, in un annuncio firmato da Max Kan, Andrew Megalaa e Dylan Patel. Claude Opus 5.5 di Anthropic è in testa alla classifica inaugurale con un punteggio del 12,0%.

La classifica V1.0

Il sito ufficiale di GDPx indica che la prima versione comprende 206 attività realizzate con 14 partner specializzati nella raccolta dei dati e che la classifica include 13 modelli. Claude Opus 5.5 è in cima alla graduatoria, con un costo medio di 51,41 $ per attività e 548.000 token di output. Gemini 4 Carbon di Google si piazza al secondo posto con il 10,9% e un costo di 16,29 $ per attività, mentre GPT-6 Astra di OpenAI è terzo con il 9,6% e un costo di 53,99 $ per attività. Muse Wonder Full di Meta è quarto con il 9,0%, senza prezzo pubblico indicato, mentre GLM 5.3 di Z.ai è al tredicesimo posto con il 2,7%.

SemiAnalysis definisce GDPx un benchmark di frontiera a tutti gli effetti proprio perché il punteggio più alto è ancora così basso. Il punteggio principale di GDPx calcola la media del risultato pass@1 di ciascun modello su tre tentativi, attribuisce lo stesso peso a ogni dominio e applica il metodo di valutazione previsto per ciascuna attività, binario o continuo.

Progettazione, partner e metodologia

I domini sono progettazione di chip, cybersicurezza, biologia, finanza, diritto, trading quantitativo, auto-miglioramento ricorsivo (RSI), progettazione hardware, scienza dei materiali, allineamento e ingegneria del software; SemiAnalysis afferma di aver escluso intenzionalmente settori come amministrazione pubblica, immobiliare e assicurazioni. Gli autori sostengono che il primo trilione di dollari di ricavi dell’IA si concentrerà nei settori in grado di impiegare l’intelligenza di frontiera ottenendo un ROI elevato e che sia un errore costruire un benchmark generale basato sulla quota del PIL o sulla classificazione delle professioni SOC/O*NET.

Ogni dominio è stato sviluppato con partner specializzati: Aria, Arcverex ed Ergodex per la progettazione di chip; Arithmetic per la cybersicurezza; Latch Bio per la biologia; Living Context per la finanza; Chakra per il diritto; Third Moment per il trading quantitativo; Extrapolate per l’RSI; Beautiful Machines per la progettazione hardware; ValenceForge ed Emulated per la scienza dei materiali; Fleet per l’allineamento; e Datacurve per l’ingegneria del software.

Le attività hanno un limite di tempo predefinito di otto ore e, quando disponibile, i modelli vengono eseguiti nel proprio ambiente nativo: Claude Code per Opus 5.5, Codex per GPT-6 Astra e Antigravity per Gemini 4 Carbon; in alternativa si usa OpenCode. SemiAnalysis ha richiesto che ogni partner superasse il controllo qualità automatizzato al primo tentativo, ammettendo al massimo errori lievi, e riferisce che lo stesso processo segnala come non funzionanti quasi il 50% delle attività del benchmark Terminal Bench 4.0.

Le critiche a GDPval

L’annuncio presenta GDPx come successore di GDPval di OpenAI, pubblicato il 25 settembre 2025, che secondo gli autori rimane il benchmark generalista più popolare nelle schede dei principali modelli al momento del lancio. Gli autori criticano le attività di GDPval perché non interattive e perché tutto il contesto necessario viene fornito direttamente nel prompt; citano inoltre un accordo tra valutatori esperti umani del 71% sul suo sottoinsieme di riferimento. Ogni attività di GDPx è invece accompagnata da un ambiente realistico: per esempio, le 24 attività finanziarie riproducono una vera operazione di private equity, in cui un fondo acquista circa il 62% di un produttore di snack per 880 milioni di dollari più un pagamento aggiuntivo subordinato a determinati risultati, ricostruita a partire da circa 4.000 file anonimizzati.

Risultati per dominio e limiti dichiarati

SemiAnalysis indica Claude Opus 5.5 come il miglior modello a tutto tondo, vincitore nel trading quantitativo, nella progettazione hardware e nella progettazione di chip; Gemini 4 Carbon come il miglior modello per la biologia, con una vittoria di misura nell’ingegneria del software; e GPT-6 Astra come vincitore nell’RSI e nella scienza dei materiali. Avverte che i punteggi complessivi di Opus 5.5 e GPT-6 Astra sono penalizzati dai rispettivi classificatori di sicurezza nei domini della cybersicurezza, della biologia e dell’allineamento, e descrive Muse Wonder Full di Meta come il miglior modello disponibile per la cybersicurezza, con un margine significativo.

Le attività di finanza e diritto sono abbastanza difficili da far ottenere a tutti i modelli un punteggio pari a zero con il metodo di valutazione binario previsto; perciò SemiAnalysis riporta per questi domini i punteggi parziali medi. Nel trading quantitativo, 70 delle 111 esecuzioni valutate hanno ottenuto risultati peggiori della strategia di riferimento che l’agente doveva superare, e nessun modello ha risolto l’attività pubblica aapl-target-winsorization. Nei compiti di cybersicurezza di Fleet relativi all’allineamento, 196 esecuzioni su 200 hanno violato almeno una regola comportamentale e 173 ne hanno violata una classificata come gravemente disallineata; nelle attività sanitarie, 19 esecuzioni su 100 hanno ottenuto un punteggio superiore a zero. Per quanto riguarda i costi, SemiAnalysis colloca GPT-6 Luna e DeepSeek all’estremità più conveniente del rapporto tra costo e prestazioni, Opus a quella più costosa e OpenAI in posizione intermedia.

SemiAnalysis afferma che GDPx è concepito come un benchmark in continua evoluzione, con nuove versioni previste ogni 3–6 mesi, e indica gdpx@semianalysis.com per le aziende che operano nel settore dei dati e sono interessate a partecipare e per i laboratori che desiderano valutare le versioni future.