Il Percorso Critico per l’Automazione dello Sviluppo dei Modelli

Il prossimo importante traguardo per la ricerca sull’intelligenza artificiale è automatizzare lo sviluppo dei modelli. Ogni avanzamento nel ragionamento, nel linguaggio e nella percezione è, in un certo senso, un passo verso quell’obiettivo. Tuttavia, il percorso verso l’automazione dei modelli richiede la risoluzione di una serie di sfide fondamentali che devono essere risolte per prime.

Il ponte verso quell’obiettivo passa direttamente attraverso l’ingegneria dell’apprendimento automatico (ML). Un’errata concezione sostiene che l’ML sia una tecnologia precedente all’intelligenza artificiale moderna e che i modelli di base abbiano semplicemente sostituito l’ML. Ciò fraintende la relazione. Come disciplina accademica, l’ML comprende tutti gli aspetti della formazione dei modelli, compresa la formazione dei modelli di base al centro dell’attuale momento dell’intelligenza artificiale. Tuttavia, c’è una differenza significativa in termini di scala e complessità dei dati.

I modelli di apprendimento automatico tradizionali vengono solitamente addestrati su set di dati curati con attenzione, specifici di un dominio, che contengono migliaia o milioni di esempi. I modelli di base, al contrario, vengono addestrati su migliaia di set di dati contemporaneamente, tratti da fonti molto diverse con formati, provenienza e qualità inconsistenti. Questa differenza nella scala e nell’eterogeneità dei dati è una ragione fondamentale per cui la gestione dei dati diventa molto più difficile e importante man mano che i modelli diventano più potenti.

Ciò rende la comprensione dei dati un collo di bottiglia centrale nell’automatizzazione dello sviluppo dei modelli. Un sistema di intelligenza artificiale che possa interpretare dati eterogenei e migliorare le pipeline costruite intorno ad essi potrebbe, in principio, migliorare il proprio processo di formazione e aiutare a costruire modelli migliori. Una volta che l’intelligenza artificiale possa migliorare il processo con cui viene addestrata, i miglioramenti si propagano a valle in ogni dominio in cui l’intelligenza artificiale viene applicata.

Tre Ostacoli che Si Frappongono sulla Strada

Il primo ostacolo è la frammentazione del contesto. In quasi ogni organizzazione, i segnali, gli esperimenti, le definizioni delle caratteristiche e la conoscenza istituzionale relative a un determinato problema di modellazione sono sparsi tra magazzini di dati, notebook e pipeline che non sono stati progettati per comunicare tra loro. Consideriamo un sistema sanitario che costruisce un modello di rilevamento della sepsi. I criteri clinici rilevanti per quel problema, come soglie vitali, valori di laboratorio e standard di documentazione, possono risiedere in moduli completamente separati di un sistema di cartella clinica elettronica.

Il secondo ostacolo è l’ambiguità semantica. Il significato non è intrinseco ai dati, ma è invece contestuale e organizzativo. Lo stesso nome di campo in due database diversi può riferirsi a cose leggermente diverse. Concetti come ricavo, utente attivo e churn hanno regolarmente più definizioni valide all’interno di una singola azienda. Anche un concetto apparentemente semplice come “ricavo” può causare problemi. Un team di vendita può definire il ricavo come il valore totale dei contratti firmati questo trimestre, mentre il team finanziario lo definisce come denaro effettivamente ricevuto. Il team di prodotto ha un’altra comprensione, poiché definisce il termine come ricavo riconosciuto distribuito su un periodo di abbonamento. Tutti e tre stanno attingendo da campi letteralmente denominati “ricavo” nei rispettivi sistemi, ma un report di squadra che li combina silenziosamente mescolerebbe tre numeri incompatibili.

Il terzo e più sistematico ostacolo è l’assenza di memoria organizzativa documentata. Tracciare la provenienza, risolvere le incoerenze e mantenere segnali di qualità attraverso tutte quelle fonti è un problema irrisolto anche per i team umani. Senza una memoria istituzionale di ciò che è stato tentato e di come quegli approcci abbiano funzionato, qualsiasi meccanismo di automazione dei modelli continuerà a riscoprire gli stessi vicoli ciechi, sprecando tempo e risorse.

Consideriamo un team di data science in un’azienda di vendita al dettaglio che costruisce un modello di previsione della domanda. Nel corso di tre anni, una dozzina di analisti hanno scoperto indipendentemente che i dati grezzi sul meteo degradano le prestazioni del modello durante le settimane festive, che l’alimentazione dell’inventario di un fornitore specifico contiene un ritardo sistematico e che l’approccio standard per la gestione degli eventi promozionali causa una perdita di obiettivo. Quando gli analisti originali si sono trasferiti in altri team o hanno lasciato l’azienda, la conoscenza se n’è andata con loro. Senza un registro istituzionale di ciò che è stato tentato, cosa è fallito e perché, un meccanismo di automazione dei modelli non può costruire sull’esperienza accumulata. Inizia semplicemente da zero, di nuovo e di nuovo, sprecando inutilmente tempo.

Cosa Richiede una Soluzione Reale

La storia dell’automazione dell’apprendimento automatico è una storia di soluzioni parziali. L’AutoML ha affrontato il problema ristretto della regolazione dei iperparametri, ma non ha potuto gestire le discordanze degli obiettivi o ragionare sull’intento organizzativo. L’MLOps ha reso le pipeline di produzione più robuste e più facili da monitorare, ma gli strumenti MLOps eseguono una strategia piuttosto che definirla. Gli agenti di codifica più recenti rappresentano un passo avanti genuino, ma hanno ereditato lo stesso punto cieco. Generano codice bene mentre operano senza contesto organizzativo o memoria istituzionale.

Un sistema in grado di ingegneria dell’apprendimento automatico genuinamente autonoma avrebbe bisogno di capacità che nessuno strumento esistente fornisce in combinazione. Dovrebbe mappare gli obiettivi aziendali agli obiettivi del modello, che è una traduzione che non può essere inferita solo dai dati. Dovrebbe scoprire dati rilevanti attraverso sistemi frammentati con schemi inconsistenti, aderendo automaticamente alle limitazioni di conformità, governance e sicurezza, piuttosto che richiedere agli esseri umani di gestirle come un processo separato. Dovrebbe avere una memoria istituzionale per portare a galla il lavoro esistente, capire perché gli esperimenti passati sono stati abbandonati e costruire su ciò che i colleghi già sanno.

Tracciati di audit rigorosi che tracciano la provenienza attraverso le versioni dei dati, le definizioni delle caratteristiche e i commit del codice dovrebbero essere un meccanismo fondamentale per ancorare il sistema a ciò che è effettivamente accaduto. E un tale sistema richiederebbe un design umano-nella-ciclo pensato. Non una scelta binaria tra automazione completa e controllo manuale completo, ma supporto per livelli di interazione variabili a seconda del compito, delle poste in gioco e della fiducia del sistema in ogni punto di decisione. L’automazione che bypassa il giudizio umano nei momenti critici non è una caratteristica di un’intelligenza artificiale ben progettata; piuttosto, è una modalità di guasto.

Cosa nessun laboratorio ha ancora risolto è come creare una comprensione semantica dei dati organizzativi che capisca cosa significano i dati in un contesto istituzionale specifico. MCP risolve il problema di connettività. Non risolve ancora il problema del significato. Ciò rimane la frontiera di ricerca aperta.

Cosa Diventa Possibile

Le implicazioni economiche della risoluzione di questi problemi sono significative. Lo sviluppo personalizzato dell’apprendimento automatico oggi richiede specialisti e settimane di iterazione, anche per problemi ben definiti. Un sistema che potesse navigare l’intero flusso di lavoro in modo autonomo, dalla definizione del problema alla scoperta dei dati, allo sviluppo del modello e alla valutazione del modello, sposterebbe drasticamente quell’equazione, comprimendo i tempi e aprendo casi d’uso ad alto valore che attualmente sono troppo intensivi in termini di risorse per essere perseguiti. I progetti che una volta richiedevano team con profonda competenza in apprendimento automatico che lavoravano per settimane possono ora essere completati in giorni senza dover utilizzare così tanto tempo di specialisti di apprendimento automatico rari.

Le sfide della frammentazione del contesto, dell’ambiguità semantica e della mancanza di memoria istituzionale non sono uniche per l’apprendimento automatico aziendale. Si manifestano con vincoli diversi nella costruzione delle pipeline di formazione dei modelli di base, dove migliaia di set di dati eterogenei devono essere aggregati, filtrati e raffinati iterativamente. Sebbene i due ambienti differiscano nella struttura e nell’obiettivo, entrambi sono limitati dallo stesso collo di bottiglia sottostante: l’assenza di sistemi che possano recuperare affidabilmente il contesto, tracciare la provenienza e costruire sul lavoro precedente attraverso le iterazioni. L’automazione dello sviluppo dei modelli nell’ambito aziendale è quindi un passo critico sul percorso verso sistemi di intelligenza artificiale in grado di migliorare se stessi.