Perché il modello di intelligenza artificiale Orca-2 di Microsoft rappresenta un significativo passo avanti nell’AI sostenibile?

Nonostante i notevoli progressi compiuti dall’intelligenza artificiale nell’ultimo decennio, che includono la sconfitta dei campioni umani in giochi strategici come Scacchi e Go e la previsione della struttura tridimensionale delle proteine, l’adozione diffusa di modelli linguistici di grandi dimensioni (LLM) segna un cambiamento di paradigma. Questi modelli, pronti a trasformare le interazioni uomo-macchina, sono diventati indispensabili in vari settori, tra cui istruzione, servizi clienti, recupero delle informazioni, sviluppo software, media e sanità. Se da un lato questi progressi tecnologici sbloccano scoperte scientifiche e alimentano la crescita industriale, dall’altro esiste un aspetto negativo per il pianeta.

Il processo di formazione e utilizzo degli LLM consuma una quantità enorme di energia, comportando un impatto ambientale significativo segnato da un aumento dell’impronta carbonica e delle emissioni di gas serra. Uno studio recente del College of Information and Computer Sciences dell’Università del Massachusetts Amherst ha rivelato che la formazione degli LLM può emettere oltre 626.000 libbre di anidride carbonica, grossomodo equivalente alle emissioni di cinque automobili durante la loro vita. Hugging Face, una startup di intelligenza artificiale, ha scoperto che la formazione di BLOOM, un modello linguistico di grandi dimensioni lanciato all’inizio dell’anno, ha portato a 25 tonnellate metriche di emissioni di anidride carbonica. Allo stesso modo, il modello di intelligenza artificiale di Facebook , Meena, accumula un’impronta carbonica paragonabile all’impatto ambientale di guidare un’auto per oltre 240.000 miglia durante il suo processo di formazione.

Nonostante la formazione degli LLM, la domanda di calcolo cloud, essenziale per gli LLM, contribuisce ora a più emissioni dell’intero settore aereo. Un singolo data center può consumare tanta energia quanta 50.000 case. Un altro studio sottolinea che la formazione di un singolo modello linguistico di grandi dimensioni può rilasciare quanta CO2 quanta ne emettono cinque auto utilizzando energia durante tutta la loro vita. Le previsioni suggeriscono che le emissioni di AI aumenteranno del 300% entro il 2025, sottolineando l’urgenza di bilanciare i progressi dell’AI con la responsabilità ambientale e promuovendo iniziative per rendere l’AI più ecologica. Per affrontare l’impatto ambientale negativo dei progressi dell’AI, l’AI sostenibile sta emergendo come un campo di studio cruciale.

AI Sostenibile

L’AI sostenibile rappresenta un cambiamento di paradigma nello sviluppo e nella distribuzione dei sistemi di intelligenza artificiale, concentrandosi sulla minimizzazione dell’impatto ambientale, sulle considerazioni etiche e sui benefici sociali a lungo termine. L’approccio mira a creare sistemi intelligenti che siano efficienti in termini energetici, responsabili ambientalmente e allineati con i valori umani. L’AI sostenibile si concentra sull’uso di energia pulita per i computer, algoritmi intelligenti che utilizzano meno potenza e seguendo linee guida etiche per garantire decisioni eque e trasparenti. È importante notare che esiste una differenza tra AI per la sostenibilità e AI sostenibile; il primo potrebbe coinvolgere l’uso dell’AI per ottimizzare processi esistenti senza necessariamente considerarne le conseguenze ambientali o sociali, mentre il secondo integra attivamente i principi di sostenibilità in ogni fase dello sviluppo dell’AI, dalla progettazione alla distribuzione, per creare un impatto positivo e duraturo sul pianeta e sulla società.

Dai Modelli Linguistici di Grandi Dimensioni (LLM) ai Modelli Linguistici di Piccole Dimensioni (SLM)

Nella ricerca di un’AI sostenibile, Microsoft (MSFT ) sta lavorando allo sviluppo di Modelli Linguistici di Piccole Dimensioni (SLM) per allinearsi con le capacità dei Modelli Linguistici di Grandi Dimensioni (LLM). In questo sforzo, hanno recentemente introdotto Orca-2, progettato per ragionare come GPT-4. A differenza del suo predecessore, Orca-1, che vanta 13 miliardi di parametri, Orca-2 contiene 7 miliardi di parametri utilizzando due tecniche chiave.

1. Instruction Tuning: Orca-2 migliora imparando da esempi, migliorando la qualità del contenuto, le capacità zero-shot e le abilità di ragionamento in vari compiti.
2. Explanation Tuning: Riconoscendo le limitazioni dell’istruzione, Orca-2 introduce l’Explanation Tuning. Ciò comporta la creazione di spiegazioni dettagliate per i modelli insegnanti, arricchendo i segnali di ragionamento e migliorando la comprensione complessiva.

Orca-2 utilizza queste tecniche per raggiungere un ragionamento altamente efficiente, paragonabile a ciò che gli LLM raggiungono con molti più parametri. L’idea principale è quella di consentire al modello di scoprire il modo migliore per risolvere un problema, sia che si tratti di fornire una risposta rapida o di pensare passo dopo passo. Microsoft chiama questo “Ragionamento Cautelativo”.

Per addestrare Orca-2, Microsoft costruisce un nuovo set di dati di addestramento utilizzando annotazioni FLAN, Orca-1 e il set di dati Orca-2. Iniziano con domande facili, aggiungono alcune domande più difficili e poi utilizzano dati da modelli di conversazione per renderlo ancora più intelligente.

Orca-2 subisce una valutazione approfondita, coprendo ragionamento, completamento di testo, fondamento, veridicità e sicurezza. I risultati mostrano il potenziale di migliorare il ragionamento degli SLM attraverso un addestramento specializzato su dati sintetici. Nonostante alcune limitazioni, i modelli Orca-2 mostrano promesse per future migliorie nel ragionamento, controllo e sicurezza, dimostrando l’efficacia dell’applicazione strategica di dati sintetici nel raffinare il modello dopo l’addestramento.

Importanza di Orca-2 per l’AI Sostenibile

Orca-2 rappresenta un balzo significativo verso l’AI sostenibile, sfidando la convinzione che solo modelli più grandi, con il loro sostanziale consumo di energia, possano veramente avanzare le capacità dell’AI. Questo modello linguistico di piccole dimensioni presenta una prospettiva alternativa, suggerendo che raggiungere l’eccellenza nei modelli linguistici non richiede necessariamente enormi set di dati e una vasta potenza di calcolo. Invece, sottolinea l’importanza di un design intelligente e di un’integrazione efficace.

Questa svolta apre nuove possibilità sostenendo un cambio di focus – da semplicemente ingrandire l’AI a concentrarsi su come la progettiamo. Questo segna un passo cruciale nel rendere l’AI avanzata più accessibile a un pubblico più ampio, garantendo che l’innovazione sia inclusiva e raggiunga un’ampia gamma di persone e organizzazioni.

Orca-2 ha il potenziale per avere un impatto significativo sullo sviluppo dei futuri modelli linguistici. Che si tratti di migliorare compiti relativi all’elaborazione del linguaggio naturale o di abilitare applicazioni di intelligenza artificiale più sofisticate in vari settori, questi modelli più piccoli sono pronti a portare cambiamenti positivi sostanziali. Inoltre, agiscono come pionieri nella promozione di pratiche di AI più sostenibili, allineando il progresso tecnologico con un impegno per la responsabilità ambientale.

Il Punto Chiave:

Il modello Orca-2 di Microsoft rappresenta una mossa innovativa verso l’AI sostenibile, sfidando la convinzione che solo i modelli più grandi possano avanzare l’AI. Prioritizzando il design intelligente sulle dimensioni, Orca-2 apre nuove possibilità, offrendo un approccio più inclusivo e responsabile ambientalmente per lo sviluppo dell’AI avanzata. Questo cambio di direzione segna un passo significativo verso un nuovo paradigma nella progettazione dei sistemi intelligenti.