Intelligenza Artificiale
I costi di formazione dell'IA continuano a precipitare
Gli elevati costi di formazione dell'IA sono stati un ostacolo significativo all'adozione dell'IA, impedendo a molte aziende di implementare la tecnologia AI. Secondo a Rapporto di consulenza Forrester 2017, il 48% delle aziende ha indicato gli elevati costi tecnologici come uno dei motivi principali per non implementare soluzioni basate sull'intelligenza artificiale.
Tuttavia, i recenti sviluppi hanno dimostrato che i costi di formazione dell'IA stanno rapidamente diminuendo e si prevede che questa tendenza continuerà in futuro. Secondo il Rapporto ARK Invest Big Ideas 2023, i costi di formazione di un modello linguistico di grandi dimensioni simile alle prestazioni di livello GPT-3 sono crollati da $ 4.6 milioni nel 2020 a $ 450,000 nel 2022, con un calo del 70% all'anno.
Esploriamo ulteriormente questa tendenza al calo dei costi di formazione dell'IA e discutiamo i fattori che contribuiscono a questo calo.
Come sono cambiati i costi di formazione dell'IA nel tempo?
Secondo il recente Ricerca ARK Invest 2020, il costo dell'addestramento dei modelli di deep learning sta migliorando 50 volte più velocemente rispetto alla legge di Moore. In effetti, la spesa associata all'esecuzione di un sistema di inferenza AI si è drasticamente ridotta a livelli quasi trascurabili per numerosi casi d'uso.
Inoltre, i costi di formazione sono diminuiti di dieci volte l'anno negli ultimi anni. Ad esempio, nel 2017, l'addestramento di un classificatore di immagini come ResNet-50 su un cloud pubblico costava circa $ 1,000, ma nel 2019 il costo era diminuito in modo significativo a circa $ 10.
Questi risultati sono in linea con a Rapporto 2020 di OpenAI, che ha rilevato che dal 16 la quantità di potenza di calcolo necessaria per addestrare un modello di intelligenza artificiale a svolgere la stessa attività è diminuita di un fattore due ogni 2012 mesi.
Inoltre, il Rapporto dell'ARCA evidenzia il calo dei costi di formazione dell'IA. Il rapporto prevede che entro il 2030 il costo di formazione di un modello di livello GPT-3 scenderà a $ 30, rispetto ai $ 450,000 nel 2022.
Costo per addestrare le prestazioni di livello GPT-3 – ARK Investi grandi idee 2023
Fattori che contribuiscono al calo dei costi di formazione dell'IA
La formazione dei modelli di intelligenza artificiale diventa più economica e più semplice man mano che le tecnologie di intelligenza artificiale continuano a migliorare, rendendole più accessibili a una gamma più ampia di aziende. Diversi fattori, inclusi i costi hardware e software e l'intelligenza artificiale basata su cloud, hanno contribuito a ridurre i costi di formazione dell'IA.
Esploriamo questi fattori di seguito.
1. Hardware
L'intelligenza artificiale richiede hardware costoso specializzato di fascia alta per elaborare elevati volumi di dati e calcoli. Organizzazioni come NVIDIA, IBM e Google forniscono GPU ed TPU per eseguire carichi di lavoro di calcolo ad alte prestazioni (HPC). Gli elevati costi dell'hardware rendono difficile democratizzare l'IA su larga scala.
Tuttavia, con l'avanzare della tecnologia, i costi dell'hardware stanno diminuendo. Secondo il Rapporto ARK Invest 2023, la legge di Wright prevede che i costi di produzione delle unità di calcolo relative all'IA (RCU), ovvero i costi dell'hardware di addestramento dell'IA, dovrebbero diminuire del 57% all'anno, portando a una riduzione del 70% dei costi di addestramento dell'IA entro il 2030, come mostrato nel grafico sottostante.
Costo dell'hardware di addestramento AI - ARK Investi grandi idee 2023
2. Software
I costi di formazione del software AI possono essere ridotti di 47% annualmente attraverso una maggiore efficienza e scalabilità. Framework software come TensorFlow ed PyTorch consentire agli sviluppatori di addestrare complessi modelli di deep learning su sistemi distribuiti ad alte prestazioni, risparmiando tempo e risorse.
Inoltre, grandi modelli pre-addestrati come Inception v3 or RESNET e le tecniche di trasferimento dell'apprendimento aiutano anche a ridurre i costi consentendo agli sviluppatori di mettere a punto i modelli esistenti anziché addestrarli da zero.
Costo della formazione del software AI - ARK Investi grandi idee 2023
3. Intelligenza artificiale basata su cloud
La formazione AI basata sul cloud riduce i costi fornendo risorse di calcolo scalabili su richiesta. Con il modello pay-as-you-go, le aziende pagano solo per le proprie risorse informatiche. Inoltre, i fornitori di servizi cloud offrono servizi di intelligenza artificiale predefiniti che accelerano l'addestramento dell'IA.
Per esempio, Apprendimento automatico di Azure è un servizio basato su cloud per l'analisi predittiva che consente un rapido sviluppo e implementazione del modello. Offre risorse di calcolo flessibili e memoria. Gli utenti possono scalare rapidamente fino a migliaia di GPU per aumentare le loro prestazioni di elaborazione. Consente agli utenti di lavorare tramite i propri browser Web su ambienti IA preconfigurati, eliminando il sovraccarico di configurazione e installazione.
L'impatto del calo dei costi di formazione sull'IA
La diminuzione dei costi della formazione sull'IA ha implicazioni significative per vari settori e settori, con conseguente miglioramento dell'innovazione e della competitività.
Discutiamone alcuni di seguito.
1. Adozione di massa di sofisticati chatbot di intelligenza artificiale
I chatbot AI sono in aumento a causa del calo dei costi dell'IA. Soprattutto dopo lo sviluppo di OpenAI ChatGPT ed GPT-4 (Generative Pre-addestrato Transformer), c'è stato un notevole aumento del numero di aziende che cercano di sviluppare chatbot AI con capacità simili o migliori.
Ad esempio, cinque giorni dopo il suo rilascio nel novembre 2022, ChatGPT ha accumulato 1 milione di utenti. Sebbene oggi il costo per eseguire il modello su larga scala sia di circa $ 01 per query, la legge di Wright prevede che entro il 2030, le applicazioni chatbot simili a ChatGPT saranno distribuibili su vasta scala molto più economiche (stimato $ 650 per eseguire un miliardo di query), con il potenziale per elaborare 8.5 miliardi di ricerche al giorno, equivalenti a Ricerca Google.
Costo per eseguire inferenze AI per miliardo di query – ARK Investi grandi idee 2023
2. Aumento dell'uso dell'IA generativa
I costi in calo della formazione sull'IA hanno portato a un'impennata nello sviluppo e nell'implementazione di tecnologie di intelligenza artificiale generativa. Nel 2022, c'è stato un aumento significativo nell'uso dell'IA generativa, guidato dall'introduzione di strumenti innovativi di AI generativa, come DALL-E 2, Meta Make-A-Video e Stable Diffusion. Nel 2023, abbiamo già assistito a un modello rivoluzionario sotto forma di GPT-4.
Oltre alla generazione di immagini e testo, l'IA generativa aiuta gli sviluppatori a scrivere codice. Programmi come GitHub Copilot possono aiutare a completare un'attività di codifica in metà tempo.
Tempo per completare le attività di codifica - ARK Investi grandi idee 2023
3. Migliore utilizzo dei dati di addestramento
Si prevede che la riduzione dei costi di formazione sull’intelligenza artificiale consentirà un migliore utilizzo dei dati di formazione sull’apprendimento automatico. Ad esempio, Rapporto ARK Invest 2023 suggerisce che entro il 2030, il costo dell'addestramento di un modello con 57 volte più parametri e 720 volte più token rispetto a GPT-3 (175 miliardi di parametri) dovrebbe diminuire da $ 17 miliardi a $ 600,000.
La disponibilità e la qualità dei dati saranno il principale fattore limitante per lo sviluppo di modelli avanzati di apprendimento automatico in questo mondo informatico a basso costo. Tuttavia, i modelli di addestramento svilupperebbero la capacità di elaborare circa 162 trilioni di parole o 216 trilioni di token.
Il futuro dell'IA sembra molto promettente. Per saperne di più sulle ultime tendenze e ricerche nel campo dell'intelligenza artificiale, visita Unite.ai.
