DeepMind presenta l’algoritmo JEST: rendendo la formazione dei modelli di intelligenza artificiale più veloce, più economica e più ecologica

L’intelligenza artificiale generativa sta facendo passi da gigante, trasformando aree come la medicina, l’istruzione, la finanza, l’arte, lo sport, ecc. Questo progresso deriva principalmente dalla capacità dell’intelligenza artificiale di apprendere da set di dati più grandi e di costruire modelli più complessi con miliardi di parametri. Sebbene questi progressi abbiano portato a scoperte scientifiche significative, creato nuove opportunità commerciali e favorito la crescita industriale, essi hanno un prezzo alto, soprattutto se si considerano gli impatti finanziari e ambientali della formazione di questi modelli su larga scala. Gli algoritmi di apprendimento richiedono una notevole potenza computazionale per formare modelli di intelligenza artificiale generativa con set di dati grandi, il che porta a un alto consumo di energia e a un notevole impatto carbonico.

Mentre gli sforzi precedenti per rendere l’intelligenza artificiale generativa sostenibile si sono concentrati sull’miglioramento dell’efficienza hardware per la formazione dell’intelligenza artificiale e sullo sviluppo di modelli più piccoli con meno parametri, Google DeepMind ha adottato un approccio innovativo, mirando a migliorare l’efficienza dell’algoritmo di formazione dell’intelligenza artificiale generativa. Hanno sviluppato un nuovo algoritmo, JEST (Selezione congiunta di esempi), che opera 13 volte più velocemente e è dieci volte più efficiente in termini di potenza rispetto alle tecniche attuali.

In questo articolo, esploriamo le sfide della formazione dell’intelligenza artificiale e come JEST affronta questi problemi. Inoltre, consideriamo le più ampie implicazioni e le direzioni di ricerca future per l’algoritmo JEST, immaginando il suo potenziale impatto al di là del miglioramento della velocità, dell’efficienza dei costi e della sostenibilità ambientale nella formazione dell’intelligenza artificiale.

Sfide della formazione dell’intelligenza artificiale: alti costi e impatto ambientale

La formazione dei modelli di intelligenza artificiale generativa presenta sfide significative a causa degli alti costi e dell’impatto ambientale sostanziale.

• Costi finanziari: la formazione dei modelli di intelligenza artificiale generativa è un’impresa costosa. Le stime recenti indicano che la formazione di un singolo modello grande, come OpenAI’s GPT-3 con 175 miliardi di parametri, può costare circa 4,6 milioni di dollari. La formazione di ChatGPT-4 è stimata aver costato a OpenAI circa 100 milioni di dollari. Queste spese sono in larga misura attribuibili alle risorse computazionali massive, all’elaborazione dei dati estensiva e ai tempi di formazione prolungati richiesti.
• Consumo di energia: i processi di formazione dell’intelligenza artificiale generativa sono estremamente intensivi in termini di energia. La formazione di questi modelli coinvolge migliaia di GPU e consuma multiple gigawatt-ore di energia, rendendo il processo estremamente energivoro. I data center, che ospitano le infrastrutture di calcolo per la formazione dell’intelligenza artificiale, consumano circa 200 terawatt-ore (TWh) di elettricità all’anno, circa 1% della domanda globale di elettricità. Un rapporto di McKinsey prevede che il consumo di energia dei data center negli Stati Uniti potrebbe aumentare da 17 gigawatt (GW) nel 2017 a 35 GW entro il 2030, richiedendo la produzione equivalente di nove dighe di Hoover per soddisfare questa domanda aggiuntiva.
• Impatto carbonico: il consumo di energia elevato della formazione dei modelli di intelligenza artificiale generativa contribuisce in modo significativo alle emissioni di gas serra, aggravando il cambiamento climatico. Uno studio dell’Università del Massachusetts Amherst ha scoperto che la formazione di un modello di intelligenza artificiale grande può emettere tanto anidride carbonica quanto cinque automobili durante la loro vita. In particolare, la formazione di un singolo modello di intelligenza artificiale può emettere più di 626.000 libbre di CO2, equivalente all’impronta carbonica di 315 voli transamericani.

Queste sfide derivano principalmente da due fonti principali: la dipendenza da hardware computazionale ad alto consumo energetico e l’inefficienza degli algoritmi di formazione attuali. Se la comunità dell’intelligenza artificiale ha fatto progressi nello sviluppo di hardware efficiente in termini di energia, c’è bisogno di un maggiore enfasi sulla creazione di algoritmi più intelligenti che possano ottimizzare l’utilizzo dei dati e ridurre i tempi di formazione. L’algoritmo JEST di Google è una ricerca pionieristica volta a rendere gli algoritmi di formazione più intelligenti. Selezionando intelligentemente i dati che contano, JEST migliora notevolmente l’efficienza della formazione dell’intelligenza artificiale, aprendo la strada a una formazione più sostenibile e più economica dei modelli di intelligenza artificiale generativa.

Comprendere l’algoritmo JEST

JEST è un algoritmo di apprendimento progettato per formare modelli di intelligenza artificiale generativa multimodale in modo più efficiente. Per capire come funziona JEST, pensa alla formazione dell’intelligenza artificiale come alla risoluzione di un puzzle complesso, dove ogni pezzo (punto di dati) aiuta a costruire l’immagine completa (modello di intelligenza artificiale). JEST agisce come un solutore di puzzle esperto, rendendo il processo più efficiente. Proprio come un solutore di puzzle seleziona i pezzi più importanti e distintivi, JEST identifica e seleziona i lotti di dati più preziosi dal set di dati, assicurandosi che ogni lotto giochi un ruolo cruciale nello sviluppo dell’intelligenza artificiale.

JEST utilizza un modello di intelligenza artificiale più piccolo per valutare la qualità dei lotti di dati. Questi lotti vengono quindi classificati in base alla loro efficacia nella formazione del modello. Con questi lotti accuratamente selezionati, JEST assembla strategicamente i lotti per formare il modello. Proprio come un solutore di puzzle dispone i pezzi del puzzle per massimizzare l’efficienza e la coerenza, JEST accelera notevolmente il processo di formazione dando priorità e selezionando i lotti più informativi.

Una parte chiave dell’approccio di JEST è l’apprendimento contrastivo multimodale. Questa tecnica si concentra sull’apprendimento della corrispondenza tra diversi tipi di dati, come testo e immagini. JEST utilizza un metodo basato sull’apprendimento contrastivo multimodale per valutare l’efficacia di un campione di dati multimodale nella formazione del modello. Oltre all’efficacia dei singoli campioni di dati, JEST valuta anche l’apprendibilità collettiva dei campioni di dati per selezionare un piccolo lotto di dati da un “super lotto” più grande. Questo processo aiuta JEST a selezionare e dare priorità ai lotti che offrono sfide e opportunità di apprendimento ricche.

Guardando avanti: JEST oltre la formazione dell’intelligenza artificiale più veloce, più economica e più ecologica

Mentre esploriamo le implicazioni future di JEST (Selezione congiunta di esempi), è evidente che i suoi contributi vanno al di là della semplice accelerazione della formazione dell’intelligenza artificiale, della riduzione dei costi e della promozione della sostenibilità ambientale. Qui, esaminiamo come JEST possa continuare a migliorare e trasformare il campo dell’intelligenza artificiale generativa:

• Prestazioni del modello e accuratezza migliorate: l’approccio innovativo di JEST alla selezione e priorizzazione dei dati conduce a tempi di formazione più rapidi e a prestazioni del modello migliorate. Concentrandosi sui lotti di dati più informativi, JEST assicura che i modelli di intelligenza artificiale siano formati su input di alta qualità, migliorando la loro accuratezza e robustezza. Questo vantaggio è cruciale in applicazioni in cui la precisione e l’affidabilità sono fondamentali, come ad esempio la diagnostica medica, la previsione finanziaria e i sistemi autonomi.
• Identificazione e mitigazione dei pregiudizi nei dati: l’intelligenza artificiale è soggetta a set di dati pregiudizievoli in cui certi gruppi o prospettive sono sottorappresentati o mal rappresentati. L’approccio di JEST alla selezione dei dati coinvolge la valutazione della qualità e dell’informatività dei lotti di dati. Dando priorità a campioni di dati diversi e rappresentativi, JEST può aiutare i sistemi di intelligenza artificiale a imparare da un set di dati più equilibrato, riducendo così i pregiudizi nella formazione dei dati. Ad esempio, nelle applicazioni di intelligenza artificiale sanitaria, JEST può selezionare lotti di dati che comprendono vari fattori demografici, assicurando che i modelli di diagnostica medica siano formati su popolazioni di pazienti diverse. Questa selezione riduce il rischio di pregiudizi che potrebbero colpire in modo sproporzionato determinati gruppi in base a razza, genere o status socioeconomico.
• Facilitazione dell’innovazione e della ricerca: riducendo notevolmente le risorse computazionali e il tempo richiesti per la formazione dei modelli di intelligenza artificiale, JEST abbassa le barriere all’ingresso per i ricercatori e gli innovatori. Ciò favorisce un ecosistema più vibrante di sviluppo dell’intelligenza artificiale, in cui team e organizzazioni più piccoli possono sperimentare e distribuire soluzioni di intelligenza artificiale avanzate. Inoltre, i guadagni di efficienza offerti da JEST liberano risorse che possono essere ridirette verso l’esplorazione di nuove frontiere nell’intelligenza artificiale, come ad esempio architetture innovative, algoritmi avanzati e quadri etici per l’intelligenza artificiale.
• Promozione dello sviluppo dell’intelligenza artificiale inclusivo: lo sviluppo dell’intelligenza artificiale dovrebbe coinvolgere prospettive e contributi diversi per mitigare efficacemente i pregiudizi e le preoccupazioni etiche. La capacità di JEST di selezionare i dati in base al loro valore informativo e rappresentatività incoraggia pratiche inclusive nella cura dei set di dati. Gli sviluppatori di intelligenza artificiale possono assicurarsi che JEST affronti efficacemente i pregiudizi e le considerazioni etiche coinvolgendo team multidisciplinari nella definizione dei criteri di selezione dei dati, inclusi esperti di etica, scienze sociali e campi di dominio specifici. Questo approccio collaborativo favorisce uno sviluppo più inclusivo e responsabile delle tecnologie di intelligenza artificiale.

Il punto fondamentale

L’introduzione dell’algoritmo JEST da parte di DeepMind rappresenta un notevole passo avanti nella formazione dei modelli di intelligenza artificiale generativa. Accelerando notevolmente i processi di formazione e riducendo il consumo di energia, JEST offre risparmi di costo sostanziali e affronta le preoccupazioni ambientali legate allo sviluppo dell’intelligenza artificiale. Oltre a questi vantaggi, JEST ha il potenziale per migliorare l’accuratezza del modello, mitigare i pregiudizi nei dati, favorire l’innovazione e promuovere lo sviluppo dell’intelligenza artificiale inclusivo. Il perfezionamento e l’applicazione continuativi di JEST sono pronti a ridefinire il futuro dell’intelligenza artificiale, avanzando verso soluzioni di intelligenza artificiale più efficienti, sostenibili e eticamente responsabili.