I costi di formazione dell’AI continuano a diminuire

I costi di formazione dell’AI elevati sono stati un ostacolo significativo all’adozione dell’AI, impedendo a molte aziende di implementare la tecnologia AI. Secondo un rapporto di Forrester Consulting del 2017, il 48% delle aziende ha evidenziato i costi tecnologici elevati come una delle principali ragioni per non implementare soluzioni guidate dall’AI.

Tuttavia, gli sviluppi recenti hanno mostrato che i costi di formazione dell’AI stanno diminuendo rapidamente e questa tendenza si prevede che continui in futuro. Secondo il rapporto ARK Invest Big Ideas 2023, i costi di formazione di un modello di linguaggio grande simile alle prestazioni di GPT-3 sono diminuiti da 4,6 milioni di dollari nel 2020 a 450.000 dollari nel 2022, una diminuzione del 70% all’anno.

Esaminiamo ulteriormente questa tendenza di diminuzione dei costi di formazione dell’AI e discutiamo i fattori che contribuiscono a questa diminuzione.

Come sono cambiati i costi di formazione dell’AI nel tempo?

Secondo la ricerca ARK Invest 2020, il costo di formazione dei modelli di apprendimento profondo sta migliorando 50 volte più velocemente della legge di Moore. In effetti, la spesa associata all’esecuzione di un sistema di inferenza AI è stata drasticamente ridotta a livelli quasi trascurabili per numerosi casi d’uso.

Inoltre, i costi di formazione sono diminuiti di dieci volte all’anno negli ultimi anni. Ad esempio, nel 2017, la formazione di un classificatore di immagini come ResNet-50 su una cloud pubblica costava circa 1.000 dollari, ma nel 2019, il costo era sceso a circa 10 dollari.

Questi risultati sono in linea con un rapporto del 2020 di OpenAI, che ha scoperto che la quantità di potenza di calcolo necessaria per formare un modello AI per eseguire lo stesso compito sta diminuendo di un fattore di due ogni 16 mesi dal 2012.

Inoltre, il rapporto ARK evidenzia la diminuzione dei costi di formazione dell’AI. Il rapporto prevede che entro il 2030, il costo di formazione di un modello di livello GPT-3 scenderà a 30 dollari, rispetto a 450.000 dollari nel 2022.

Costo di formazione di un modello di livello GPT-3 – ARK Invest Big Ideas 2023

Fattori che contribuiscono alla diminuzione dei costi di formazione dell’AI

La formazione dei modelli AI diventa più economica e facile man mano che le tecnologie AI continuano a migliorare, rendendole più accessibili a un’ampia gamma di aziende. Diversi fattori, tra cui i costi di hardware e software e l’AI basata su cloud, hanno contribuito alla diminuzione dei costi di formazione dell’AI.

Esaminiamo questi fattori di seguito.

1. Hardware

L’AI richiede hardware specializzato di alta gamma costoso per elaborare grandi volumi di dati e calcoli. Aziende come NVIDIA, IBM e Google forniscono GPU e TPU per eseguire carichi di lavoro di calcolo ad alte prestazioni (HPC). I costi di hardware elevati rendono difficile democratizzare l’AI su larga scala.

Tuttavia, man mano che la tecnologia avanza, i costi di hardware stanno diminuendo. Secondo il rapporto ARK Invest 2023, la legge di Wright prevede che i costi di produzione dell’unità di calcolo relativa all’AI (RCU) dovrebbero diminuire del 57% all’anno, portando a una riduzione del 70% dei costi di formazione dell’AI entro il 2030, come mostrato nel grafico seguente.

Costo di hardware per la formazione dell’AI – ARK Invest Big Ideas 2023

2. Software

I costi di formazione del software AI possono essere ridotti del 47% all’anno attraverso una maggiore efficienza e scalabilità. Framework di software come TensorFlow e PyTorch consentono ai sviluppatori di formare modelli di apprendimento profondo complessi su sistemi distribuiti con alte prestazioni, risparmiando tempo e risorse.

Inoltre, modelli pre-addestrati grandi come Inceptionv3 o ResNet e tecniche di transfer learning aiutano a ridurre i costi consentendo ai sviluppatori di perfezionare modelli esistenti invece di formarli da zero.

Costo di formazione del software AI – ARK Invest Big Ideas 2023

3. Intelligenza artificiale basata su cloud

La formazione dell’AI basata su cloud riduce i costi fornendo risorse di calcolo scalabili su richiesta. Con il modello pay-as-you-go, le aziende pagano solo per le risorse di calcolo che utilizzano. Inoltre, i fornitori di servizi cloud offrono servizi AI preconfigurati che accelerano la formazione dell’AI.

Ad esempio, Azure Machine Learning è un servizio cloud per l’analisi predittiva che consente una rapida sviluppo e implementazione di modelli. Offre risorse di calcolo flessibili e memoria. Gli utenti possono scalare fino a migliaia di GPU in poco tempo per aumentare le prestazioni di calcolo. Consente agli utenti di lavorare attraverso i browser web su ambienti AI preconfigurati, eliminando l’onere di setup e installazione.

L’impatto della diminuzione dei costi di formazione dell’AI

La diminuzione dei costi di formazione dell’AI ha implicazioni significative per vari settori e campi, risultando in una maggiore innovazione e competitività.

Esaminiamo alcune di esse di seguito.

1. Adozione di massa di chatbot AI sofisticati

I chatbot AI sono in aumento a causa della diminuzione dei costi dell’AI. In particolare, dopo lo sviluppo di ChatGPT e GPT-4 (Generative Pre-trained Transformer) di OpenAI, c’è stato un aumento significativo nel numero di aziende che cercano di sviluppare chatbot AI con capacità simili o migliori.

Ad esempio, cinque giorni dopo il suo rilascio nel novembre 2022, ChatGPT ha raggiunto 1 milione di utenti. Sebbene oggi, il costo per eseguire il modello su larga scala sia di circa 0,01 dollari per query, la legge di Wright prevede che entro il 2030, le applicazioni di chatbot simili a ChatGPT saranno deployabili su larga scala a un costo molto più basso (stimato 650 dollari per eseguire un miliardo di query), con la potenzialità di elaborare 8,5 miliardi di ricerche al giorno, equivalente a Google Search.

Costo di esecuzione di inferenze AI per miliardo di query – ARK Invest Big Ideas 2023

2. Aumento dell’uso di AI generativa

La diminuzione dei costi di formazione dell’AI ha portato a un aumento nello sviluppo e nell’implementazione di tecnologie AI generative. Nel 2022, c’è stato un aumento significativo nell’uso di AI generativa, trainato dall’introduzione di strumenti AI generativa innovativi, come DALL-E 2, Meta Make-A-Video e Stable Diffusion. Nel 2023, abbiamo già assistito a un modello innovativo come GPT-4.

Oltre alla generazione di immagini e testi, l’AI generativa aiuta gli sviluppatori a scrivere codice. Programmi come GitHub Copilot possono aiutare a completare un compito di codifica in metà del tempo.

Tempo per completare i compiti di codifica – ARK Invest Big Ideas 2023

3. Miglior utilizzo dei dati di formazione

La riduzione dei costi di formazione dell’AI dovrebbe consentire un miglior utilizzo dei dati di formazione del machine learning. Ad esempio, il rapporto ARK Invest 2023 suggerisce che entro il 2030, il costo di formazione di un modello con 57 volte più parametri e 720 volte più token di GPT-3 (175B parametri) dovrebbe diminuire da 17 miliardi di dollari a 600.000 dollari.

La disponibilità e la qualità dei dati saranno il fattore limitante principale per lo sviluppo di modelli di machine learning avanzati in questo mondo di calcolo a basso costo. Tuttavia, i modelli di formazione svilupperanno la capacità di elaborare una stima di 162 trilioni di parole o 216 trilioni di token.

Il futuro dell’AI sembra molto promettente. Per saperne di più sulle ultime tendenze e ricerche nel campo dell’intelligenza artificiale, visita Unite.ai.