Il Percorso Critico per l’Automatizzazione dello Sviluppo dei Modelli

Il prossimo importante traguardo per la ricerca sull’intelligenza artificiale è automatizzare lo sviluppo dei modelli. Ogni avanzamento nel ragionamento, nel linguaggio e nella percezione è, in un certo senso, un passo verso quell’obiettivo. Tuttavia, il percorso verso l’automatizzazione dei modelli richiede la risoluzione di una serie di sfide fondamentali che devono essere superate per prime.

Il ponte verso quell’obiettivo passa direttamente attraverso l’ingegneria del machine learning (ML). Un’errata concezione sostiene che il ML sia una tecnologia precedente all’intelligenza artificiale moderna e che i modelli di base l’abbiano semplicemente sostituita. Ciò fraintende la relazione. Come disciplina accademica, il ML comprende tutti gli aspetti della formazione dei modelli, compresa la formazione dei modelli di base al centro dell’attuale momento dell’intelligenza artificiale. Tuttavia, c’è una differenza significativa in termini di scala e complessità dei dati.

I modelli di apprendimento automatico tradizionali sono solitamente addestrati su set di dati curati e specifici del dominio che contengono migliaia o milioni di esempi. I modelli di base, al contrario, sono addestrati su migliaia di set di dati contemporaneamente, tratti da fonti molto diverse con formati, provenienza e qualità inconsistenti. Questa differenza nella scala e nell’eterogeneità dei dati è una ragione fondamentale per cui la gestione dei dati diventa molto più difficile e importante man mano che i modelli diventano più potenti.

Ciò rende la comprensione dei dati un collo di bottiglia centrale nell’automatizzare lo sviluppo dei modelli. Un sistema di intelligenza artificiale che possa interpretare dati eterogenei e migliorare le pipeline costruite intorno ad esso potrebbe, in principio, migliorare il proprio processo di addestramento e aiutare a costruire modelli migliori. Una volta che l’intelligenza artificiale può migliorare il processo con cui viene addestrata, i miglioramenti si propagano a valle in ogni dominio in cui l’intelligenza artificiale viene applicata.

Tre Ostacoli che Si Frappongono

Il primo ostacolo è la frammentazione del contesto. In quasi ogni organizzazione, i segnali, gli esperimenti, le definizioni delle caratteristiche e la conoscenza istituzionale rilevanti per un determinato problema di modellazione sono sparsi tra magazzini di dati, notebook e pipeline che non sono stati progettati per comunicare tra loro. Consideriamo un sistema sanitario che costruisce un modello di rilevamento della sepsi. I criteri clinici rilevanti per quel problema, come le soglie vitali, i valori di laboratorio e gli standard di documentazione, possono vivere in moduli completamente separati di un sistema di cartella clinica elettronica.

Il secondo ostacolo è l’ambiguità semantica. Il significato non è intrinseco ai dati, ma è invece contestuale e organizzativo. Lo stesso nome di campo in due database diversi può riferirsi a cose sottilmente diverse. Concetti come ricavo, utente attivo e abbandono hanno regolarmente più definizioni valide all’interno di una singola azienda. Anche un concetto apparentemente semplice come “ricavo” può causare problemi. Un team di vendite può definire il ricavo come il valore totale dei contratti firmati nel corso del trimestre, mentre il team finanziario lo definisce come denaro effettivamente ricevuto. Il team di prodotto ha un’altra comprensione, poiché definisce il termine come ricavo riconosciuto distribuito su un periodo di abbonamento. Tutti e tre stanno estraendo da campi letteralmente denominati “ricavo” nei rispettivi sistemi, ma un report tra team che li combina silenziosamente mescola tre numeri incompatibili.

Il terzo e più sistematico ostacolo è l’assenza di memoria organizzativa documentata. Tracciare la provenienza, risolvere le incoerenze e mantenere i segnali di qualità su così tante fonti è un problema irrisolto anche per i team umani. Senza una memoria istituzionale di ciò che è stato provato e di come hanno funzionato questi approcci, qualsiasi meccanismo di automazione del modello continuerà a riscoprire gli stessi vicoli ciechi, sprechando tempo e risorse.

Consideriamo un team di data science in un’azienda di vendita al dettaglio che costruisce un modello di previsione della domanda. Nel corso di tre anni, una dozzina di analisti hanno scoperto indipendentemente che i dati meteorologici grezzi degradano le prestazioni del modello durante le settimane festive, che l’alimentazione dell’inventario di un fornitore particolare contiene un ritardo sistematico e che l’approccio standard per la gestione degli eventi promozionali causa una perdita di bersaglio. Quando gli analisti originali si sono trasferiti in altri team o hanno lasciato l’azienda, la conoscenza se n’è andata con loro. Senza un registro istituzionale di ciò che è stato provato, cosa è fallito e perché, un meccanismo di automazione del modello non può costruire sull’esperienza accumulata. Si limita a ricominciare da zero, di nuovo e di nuovo, sprechando inutilmente tempo.

Cosa Richiede una Vera Soluzione

La storia dell’automazione del ML è una storia di soluzioni parziali. L’AutoML ha affrontato il problema ristretto della regolazione dei hyperparametri, ma non poteva gestire le discordanze degli obiettivi o ragionare sull’intento organizzativo. L’MLOps ha reso le pipeline di produzione più robuste e più facili da monitorare, ma gli strumenti MLOps eseguono una strategia piuttosto che definirla. Gli agenti di codifica più recenti rappresentano un passo avanti genuino, ma hanno ereditato lo stesso punto cieco. Generano codice bene mentre operano senza contesto organizzativo o memoria istituzionale.

Un sistema in grado di ingegneria del machine learning genuinamente autonoma avrebbe bisogno di capacità che nessuno strumento esistente fornisce in combinazione. Avrebbe bisogno di mappare gli obiettivi aziendali agli obiettivi del modello, che è una traduzione che non può essere inferita dai dati soli. Avrebbe bisogno di scoprire dati rilevanti attraverso sistemi frammentati con schemi inconsistenti, aderendo automaticamente alle costrizioni di conformità, governance e sicurezza, piuttosto che richiedere agli umani di gestirle come un processo separato. Avrebbe bisogno di memoria istituzionale per portare in superficie il lavoro esistente, capire perché gli esperimenti passati sono stati abbandonati e costruire su ciò che i colleghi già sanno.

Tracciati di audit rigorosi che tracciano la provenienza attraverso le versioni dei dati, le definizioni delle caratteristiche e i commit del codice dovrebbero essere un meccanismo centrale per ancorare il sistema a ciò che è realmente accaduto. E un tale sistema richiederebbe una progettazione del ciclo umano-macchina pensata. Non una scelta binaria tra automazione completa e controllo manuale completo, ma supporto per livelli di interazione variabili a seconda del compito, degli interessi e della fiducia del sistema in ogni punto di decisione. L’automazione che bypassa il giudizio umano nei momenti critici non è una caratteristica di un’intelligenza artificiale ben progettata; piuttosto, è un modo di fallimento.

Cosa nessun laboratorio ha ancora risolto è come creare una comprensione semantica dei dati organizzativi che capisce cosa significano i dati in un contesto istituzionale specifico. MCP risolve il problema di connettività. Non risolve ancora il problema del significato. Ciò rimane la frontiera di ricerca aperta.

Cosa Diventa Possibile

Le implicazioni economiche della risoluzione di questi problemi sono significative. Lo sviluppo di ML personalizzato oggi richiede praticanti specializzati e settimane di iterazione, anche per problemi ben definiti. Un sistema che potesse navigare l’intero flusso di lavoro in modo autonomo, dalla definizione del problema alla scoperta dei dati, allo sviluppo del modello e alla valutazione del modello, sposterebbe drasticamente quell’equazione, comprimendo i tempi e aprendo casi d’uso ad alto valore che attualmente sono troppo intensivi in termini di risorse per essere perseguiti. I progetti che una volta richiedevano team con profonda esperienza in ML che lavoravano per settimane possono ora essere completati in giorni senza dover utilizzare così tanto tempo degli esperti di ML rari.