Costurile de antrenare AI continuă să scadă

Costurile ridicate de antrenare AI au fost o barieră semnificativă pentru adoptarea AI, împiedicând multe companii să implementeze tehnologia AI. Conform unui Raport Forrester Consulting din 2017, 48% dintre companii au subliniat costurile tehnologiei ridicate ca una dintre principalele motive pentru care nu au implementat soluții bazate pe AI.

Cu toate acestea, dezvoltările recente au arătat că costurile de antrenare AI scad rapid, iar această tendință se așteaptă să continue în viitor. Conform Raportului ARK Invest Big Ideas 2023, costurile de antrenare a unui model de limbaj mare similar cu performanța GPT-3 au scăzut de la 4,6 milioane de dolari în 2020 la 450.000 de dolari în 2022, o scădere de 70% pe an.

Să explorăm mai departe această tendință de scădere a costurilor de antrenare AI și să discutăm factorii care contribuie la această scădere.

Cum au evoluat costurile de antrenare AI în timp?

Conform cercetării ARK Invest din 2020, costul de antrenare a modelelor de învățare profundă se îmbunătățește de 50 de ori mai rapid decât Legea lui Moore. De fapt, cheltuielile asociate cu rularea unui sistem de inferență AI au scăzut drastic la niveluri neglijabile pentru numeroase cazuri de utilizare.

Mai mult, costurile de antrenare au scăzut de zece ori pe an în ultimii ani. De exemplu, în 2017, antrenarea unui clasificator de imagini precum ResNet-50 pe un cloud public a costat aproximativ 1.000 de dolari, dar până în 2019, costul a scăzut semnificativ la aproximativ 10 dolari.

Aceste constatări se aliniază cu un raport din 2020 al OpenAI, care a găsit că cantitatea de putere de calcul necesară pentru a antrena un model AI pentru a efectua aceeași sarcină a scăzut cu un factor de doi la fiecare 16 luni, începând cu 2012.

Mai mult, Raportul ARK subliniază scăderea costurilor de antrenare AI. Raportul prezice că, până în 2030, costul de antrenare a unui model de nivel GPT-3 va scădea la 30 de dolari, față de 450.000 de dolari în 2022.

Costul de antrenare a unui model GPT-3 – ARK Invest Big Ideas 2023

Factorii care contribuie la scăderea costurilor de antrenare AI

Antrenarea modelelor AI devine mai ieftină și mai ușoară pe măsură ce tehnologiile AI continuă să se îmbunătățească, făcându-le mai accesibile pentru o gamă mai largă de afaceri. Mai mulți factori, inclusiv costurile de hardware și software și AI bazat pe cloud, au contribuit la scăderea costurilor de antrenare AI.

Să explorăm acești factori mai jos.

1. Hardware

AI necesită hardware specializat de înaltă performanță și costisitor pentru a procesa volume mari de date și calcule. Organizații precum NVIDIA, IBM și Google oferă GPU și TPU pentru a executa sarcini de calcul de înaltă performanță (HPC). Costurile ridicate ale hardware-ului fac dificilă democratizarea AI pe scară largă.

Cu toate acestea, pe măsură ce tehnologia avansează, costurile de hardware scad. Conform Raportului ARK Invest 2023, Legea lui Wright prezice că costurile de producție ale unităților de calcul relative la AI (RCU) ar trebui să scadă cu 57% pe an, ceea ce va duce la o scădere de 70% a costurilor de antrenare AI până în 2030, așa cum se arată în graficul de mai jos.

Costul hardware-ului de antrenare AI – ARK Invest Big Ideas 2023

2. Software

Costurile de antrenare a software-ului AI pot fi reduse cu 47% pe an prin creșterea eficienței și scalabilității. Framework-uri de software precum TensorFlow și PyTorch permit dezvoltatorilor să antreneze modele de învățare profundă complexe pe sisteme distribuite cu performanță ridicată, economisind timp și resurse.

Mai mult, modele preantrenate mari precum Inceptionv3 sau ResNet și tehnici de transfer de învățare ajută, de asemenea, la reducerea costurilor, permițând dezvoltatorilor să ajusteze modele existente în loc de a le antrena de la zero.

Costul de antrenare a software-ului AI – ARK Invest Big Ideas 2023

3. Inteligență artificială bazată pe cloud

Antrenarea AI bazată pe cloud reduce costurile prin furnizarea de resurse de calcul scalabile la cerere. Cu modelul plătești-pe-măsură-ce-folosești, afacerile plătesc doar pentru resursele de calcul pe care le utilizează. De asemenea, furnizorii de cloud oferă servicii AI preconstruite care accelerează antrenarea AI.

De exemplu, Azure Machine Learning este un serviciu bazat pe cloud pentru analize predictive care permite dezvoltarea rapidă a modelului și implementarea acestuia. Ofertă resurse de calcul flexibile și memorie. Utilizatorii pot scala rapid la mii de GPU pentru a crește performanța de calcul. Le permite utilizatorilor să lucreze prin browser-ul lor web pe medii AI preconfigurate, eliminând supărarea de configurare și instalare.

Impactul scăderii costurilor de antrenare AI

Scăderea costurilor de antrenare AI are implicații semnificative pentru diverse industrii și domenii, rezultând în inovație și competitivitate îmbunătățite.

Să discutăm câteva dintre ele mai jos.

1. Adoptarea în masă a chatbot-urilor AI sofisticate

Chatbot-urile AI sunt în creștere datorită scăderii costurilor AI. În special după dezvoltarea OpenAI a ChatGPT și GPT-4 (Transformator generativ preantrenat), a existat o creștere semnificativă a numărului de companii care doresc să dezvolte chatbot-uri AI cu capacități similare sau mai bune.

De exemplu, cinci zile după lansarea sa în noiembrie 2022, ChatGPT a adunat 1 milion de utilizatori. Deși astăzi, costul de a rula modelul la scară este de aproximativ 0,01 dolari pe întrebare, Legea lui Wright prezice că, până în 2030, aplicațiile de chatbot similare cu ChatGPT vor fi implementate la scară largă mult mai ieftin (estimat la 650 de dolari pentru a rula un miliard de întrebări), cu potențialul de a procesa 8,5 miliarde de căutări pe zi, echivalent cu Google Search.

Costul de a executa inferențe AI pe un miliard de întrebări – ARK Invest Big Ideas 2023

2. Creșterea utilizării AI generative

Scăderea costurilor de antrenare AI a condus la o creștere a dezvoltării și implementării tehnologiilor AI generative. În 2022, a existat o creștere semnificativă a utilizării AI generative, determinată de introducerea unor instrumente inovatoare de AI generativ, precum DALL-E 2, Meta Make-A-Video și Stable Diffusion. În 2023, am asistat deja la un model deosebit de revoluționar sub forma GPT-4.

În afara generării de imagini și text, AI generativ ajută dezvoltatorii să scrie cod. Programe precum GitHub Copilot pot ajuta la finalizarea unei sarcini de codare în jumătate de timp.

Timpul necesar pentru finalizarea sarcinilor de codare – ARK Invest Big Ideas 2023

3. Utilizarea mai bună a datelor de antrenare

Costurile reduse de antrenare AI ar trebui să permită o utilizare mai bună a datelor de antrenare pentru învățare automată. De exemplu, Raportul ARK Invest 2023 sugerează că, până în 2030, costul de antrenare a unui model cu 57 de ori mai multe parametri și 720 de ori mai multe tokeni decât GPT-3 (175 miliarde de parametri) ar trebui să scadă de la 17 miliarde la 600.000 de dolari.

Disponibilitatea și calitatea datelor vor fi principalul factor limitativ pentru dezvoltarea de modele avansate de învățare automată în acest mediu de calcul ieftin. Cu toate acestea, modelele de antrenare ar dezvolta capacitatea de a procesa aproximativ 162 de trilioane de cuvinte sau 216 trilioane de tokeni.

Viitorul AI pare foarte promițător. Pentru a afla mai multe despre tendințele și cercetările recente în domeniul inteligenței artificiale, vizitați Unite.ai.