I costi di addestramento dell’AI continuano a diminuire

I costi elevati di addestramento dell’AI sono stati un ostacolo significativo all’adozione dell’AI, impedendo a molte aziende di implementare la tecnologia AI. Secondo un rapporto di consulenza Forrester del 2017, il 48% delle aziende ha evidenziato i costi tecnologici elevati come una delle principali ragioni per non implementare soluzioni guidate dall’AI.

Tuttavia, gli sviluppi recenti hanno mostrato che i costi di addestramento dell’AI stanno diminuendo rapidamente e questa tendenza è prevista continuare in futuro. Secondo il rapporto ARK Invest Big Ideas 2023, i costi di addestramento di un modello di linguaggio grande simile alle prestazioni di GPT-3 sono diminuiti da 4,6 milioni di dollari nel 2020 a 450.000 dollari nel 2022, una diminuzione del 70% all’anno.

Esaminiamo ulteriormente questa tendenza di diminuzione dei costi di addestramento dell’AI e discutiamo i fattori che contribuiscono a questa diminuzione.

Come sono cambiati i costi di addestramento dell’AI nel tempo?

Secondo la recente ricerca ARK Invest 2020, il costo di addestramento dei modelli di apprendimento profondo sta migliorando 50 volte più velocemente della legge di Moore. In effetti, la spesa associata all’esecuzione di un sistema di inferenza AI è drasticamente diminuita a livelli quasi trascurabili per numerosi casi d’uso.

Inoltre, i costi di addestramento sono diminuiti di dieci volte all’anno negli ultimi anni. Ad esempio, nel 2017, addestrare un classificatore di immagini come ResNet-50 su una nuvola pubblica costava circa 1.000 dollari, ma entro il 2019, il costo era diminuito notevolmente a circa 10 dollari.

Questi risultati sono in linea con un rapporto OpenAI del 2020, che ha trovato che la quantità di potenza di calcolo necessaria per addestrare un modello AI per eseguire lo stesso compito è stata diminuendo di un fattore di due ogni 16 mesi dal 2012.

Inoltre, il rapporto ARK evidenzia la diminuzione dei costi di addestramento dell’AI. Il rapporto prevede che entro il 2030, il costo di addestramento di un modello di livello GPT-3 sarà sceso a 30 dollari, rispetto a 450.000 dollari nel 2022.

Costo per addestrare un modello di livello GPT-3 – ARK Invest Big Ideas 2023

I fattori che contribuiscono alla diminuzione dei costi di addestramento dell’AI

L’addestramento dei modelli AI diventa più economico e facile man mano che le tecnologie AI continuano a migliorare, rendendole più accessibili a un’ampia gamma di aziende. Diversi fattori, tra cui i costi di hardware e software e l’AI basata su cloud, hanno contribuito alla diminuzione dei costi di addestramento dell’AI.

Esaminiamo questi fattori di seguito.

1. Hardware

L’AI richiede hardware specializzato di alta gamma costoso per elaborare grandi volumi di dati e calcoli. Aziende come NVIDIA (NVDA ), IBM e Google (GOOGL ) forniscono GPU e TPU per eseguire carichi di lavoro di calcolo ad alte prestazioni (HPC). I costi di hardware elevati rendono difficile democratizzare l’AI su larga scala.

Tuttavia, man mano che la tecnologia avanza, i costi di hardware stanno diminuendo. Secondo il rapporto ARK Invest 2023, la legge di Wright prevede che i costi di produzione delle unità di calcolo relative all’AI (RCU), ovvero i costi di hardware di addestramento dell’AI, dovrebbero diminuire del 57% all’anno, portando a una riduzione del 70% dei costi di addestramento dell’AI entro il 2030, come mostrato nel grafico seguente.

Costo di hardware di addestramento dell’AI – ARK Invest Big Ideas 2023

2. Software

I costi di addestramento del software AI possono essere ridotti del 47% all’anno attraverso una maggiore efficienza e scalabilità. Framework di software come TensorFlow e PyTorch consentono agli sviluppatori di addestrare modelli di apprendimento profondo complessi su sistemi distribuiti con elevate prestazioni, risparmiando tempo e risorse.

Inoltre, modelli pre-addestrati grandi come Inceptionv3 o ResNet e tecniche di transfer learning aiutano a ridurre i costi consentendo agli sviluppatori di regolare i modelli esistenti invece di addestrarli da zero.

Costo di addestramento del software AI – ARK Invest Big Ideas 2023

3. AI basata su cloud

L’addestramento dell’AI basata su cloud riduce i costi fornendo risorse di calcolo scalabili su richiesta. Con il modello pay-as-you-go, le aziende pagano solo per le risorse di calcolo utilizzate. Inoltre, i fornitori di servizi cloud offrono servizi AI preconfigurati che accelerano l’addestramento dell’AI.

Ad esempio, Azure Machine Learning è un servizio cloud per l’analisi predittiva che consente lo sviluppo e l’implementazione rapida di modelli. Offre risorse di calcolo flessibili e memoria. Gli utenti possono scalare fino a migliaia di GPU in pochi minuti per aumentare le prestazioni di calcolo. Consente agli utenti di lavorare attraverso i browser web su ambienti AI preconfigurati, eliminando l’onere di setup e installazione.

L’impatto della diminuzione dei costi di addestramento dell’AI

La diminuzione dei costi di addestramento dell’AI ha importanti implicazioni per vari settori e campi, portando a una maggiore innovazione e competitività.

Esaminiamo alcuni di questi di seguito.

1. Adozione di massa di chatbot AI sofisticati

I chatbot AI sono in aumento a causa della diminuzione dei costi dell’AI. In particolare, dopo lo sviluppo di ChatGPT e GPT-4 (Generative Pre-trained Transformer) di OpenAI, c’è stato un aumento significativo nel numero di aziende che cercano di sviluppare chatbot AI con capacità simili o migliori.

Ad esempio, cinque giorni dopo il suo rilascio nel novembre 2022, ChatGPT ha raggiunto 1 milione di utenti. Sebbene oggi il costo per eseguire il modello su larga scala sia di circa 0,01 dollari per query, la legge di Wright prevede che entro il 2030, le applicazioni di chatbot simili a ChatGPT saranno distribuibili su larga scala a un costo molto più basso (stimato 650 dollari per eseguire un miliardo di query), con la potenzialità di elaborare 8,5 miliardi di ricerche al giorno, equivalente a Google Search.

Costo per eseguire inferenze AI per miliardo di query – ARK Invest Big Ideas 2023

2. Aumento dell’uso di AI generativa

La diminuzione dei costi di addestramento dell’AI ha portato a un aumento nello sviluppo e nell’implementazione di tecnologie AI generative. Nel 2022, c’è stato un aumento significativo nell’uso di AI generativa, guidato dall’introduzione di strumenti AI generativi innovativi come DALL-E 2, Meta Make-A-Video e Stable Diffusion. Nel 2023, abbiamo già assistito a un modello innovativo come GPT-4.

Oltre alla generazione di immagini e testi, l’AI generativa aiuta gli sviluppatori a scrivere codice. Programmi come GitHub Copilot possono aiutare a completare un compito di codifica in metà del tempo.

Tempo per completare i compiti di codifica – ARK Invest Big Ideas 2023

3. Miglior utilizzo dei dati di addestramento

I costi di addestramento dell’AI ridotti sono previsti consentire un miglior utilizzo dei dati di addestramento del machine learning. Ad esempio, il rapporto ARK Invest 2023 prevede che entro il 2030, il costo di addestramento di un modello con 57 volte più parametri e 720 volte più token rispetto a GPT-3 (175B parametri) sarà diminuito da 17 miliardi di dollari a 600.000 dollari.

I dati disponibili e la loro qualità saranno il fattore limitante principale per lo sviluppo di modelli di apprendimento automatico avanzati in questo mondo di calcolo a basso costo. Tuttavia, i modelli di addestramento svilupperanno la capacità di elaborare una stima di 162 trilioni di parole o 216 trilioni di token.

Il futuro dell’AI sembra molto promettente. Per saperne di più sulle ultime tendenze e ricerche nel campo dell’intelligenza artificiale, visita Unite.ai.