Costurile de antrenare a inteligenței artificiale continuă să scadă

Costurile ridicate de antrenare a inteligenței artificiale au fost o barieră semnificativă pentru adoptarea inteligenței artificiale, împiedicând multe companii să implementeze tehnologia inteligenței artificiale. Conform unui raport Forrester Consulting din 2017, 48% dintre companii au subliniat costurile tehnologice ridicate ca una dintre principalele motive pentru care nu au implementat soluții bazate pe inteligență artificială.

Însă, dezvoltările recente au arătat că costurile de antrenare a inteligenței artificiale scad rapid și această tendință se așteaptă să continue în viitor. Conform raportului ARK Invest Big Ideas 2023, costurile de antrenare a unui model de limbaj mare similar cu performanța GPT-3 au scăzut de la 4,6 milioane de dolari în 2020 la 450.000 de dolari în 2022, o scădere de 70% pe an.

Să explorăm mai departe această tendință de scădere a costurilor de antrenare a inteligenței artificiale și să discutăm factorii care contribuie la această scădere.

Cum au evoluat costurile de antrenare a inteligenței artificiale în timp?

Conform cercetării recente ARK Invest 2020, costul de antrenare a modelelor de învățare profundă se îmbunătățește de 50 de ori mai rapid decât Legea lui Moore. De fapt, cheltuielile asociate cu rularea unui sistem de inferență a inteligenței artificiale au scăzut drastic la niveluri neglijabile pentru multe cazuri de utilizare.

În plus, costurile de antrenare au scăzut de zece ori pe an în ultimii ani. De exemplu, în 2017, antrenarea unui clasificator de imagini precum ResNet-50 pe un cloud public a costat aproximativ 1.000 de dolari, dar până în 2019, costul a scăzut semnificativ la aproximativ 10 dolari.

Aceste constatări se aliniază cu un raport OpenAI din 2020, care a găsit că cantitatea de putere de calcul necesară pentru a antrena un model de inteligență artificială pentru a efectua aceeași sarcină a scăzut cu un factor de doi la fiecare 16 luni, începând cu 2012.

În plus, raportul ARK subliniază scăderea costurilor de antrenare a inteligenței artificiale. Raportul prezice că, până în 2030, costul de antrenare a unui model de nivel GPT-3 va scădea la 30 de dolari, comparativ cu 450.000 de dolari în 2022.

Costul de antrenare a unui model de nivel GPT-3 – ARK Invest Big Ideas 2023

Factorii care contribuie la scăderea costurilor de antrenare a inteligenței artificiale

Antrenarea modelelor de inteligență artificială devine mai ieftină și mai ușoară pe măsură ce tehnologiile de inteligență artificială continuă să se îmbunătățească, făcându-le mai accesibile pentru o gamă mai largă de afaceri. Mai mulți factori, inclusiv costurile de hardware și software și inteligența artificială bazată pe cloud, au contribuit la scăderea costurilor de antrenare a inteligenței artificiale.

Să explorăm acești factori mai jos.

1. Hardware

Inteligența artificială necesită hardware specializat de înaltă performanță și costisitor pentru a procesa volume mari de date și calcule. Organizații precum NVIDIA (NVDA ), IBM și Google (GOOGL ) oferă GPU-uri și TPU-uri pentru a executa sarcini de calcul de înaltă performanță (HPC). Costurile ridicate ale hardware-ului fac dificilă democratizarea inteligenței artificiale la scară largă.

Însă, pe măsură ce tehnologia avansează, costurile de hardware scad. Conform raportului ARK Invest 2023, Legea lui Wright prezice că costurile de producție ale unităților de calcul relative la inteligența artificială (RCU) ar trebui să scadă cu 57% pe an, ceea ce va duce la o scădere de 70% a costurilor de antrenare a inteligenței artificiale până în 2030, așa cum se arată în graficul de mai jos.

Costul hardware-ului de antrenare a inteligenței artificiale – ARK Invest Big Ideas 2023

2. Software

Costurile de antrenare a software-ului de inteligență artificială pot fi reduse cu 47% pe an prin creșterea eficienței și scalabilității. Framework-urile de software precum TensorFlow și PyTorch permit dezvoltatorilor să antreneze modele complexe de învățare profundă pe sisteme distribuite cu performanță ridicată, economisind timp și resurse.

În plus, modelele pre-antrenate mari precum Inceptionv3 sau ResNet și tehnici de transfer de învățare ajută la reducerea costurilor, permițând dezvoltatorilor să ajusteze modele existente în loc de a le antrena de la zero.

Costul software-ului de antrenare a inteligenței artificiale – ARK Invest Big Ideas 2023

3. Inteligența artificială bazată pe cloud

Antrenarea inteligenței artificiale bazată pe cloud reduce costurile prin furnizarea de resurse de calcul scalabile la cerere. Cu modelul plătești-cât-folosești, companiile plătesc doar pentru resursele de calcul pe care le utilizează. De asemenea, furnizorii de cloud oferă servicii de inteligență artificială pre-construite care accelerează antrenarea inteligenței artificiale.

De exemplu, Azure Machine Learning este un serviciu de cloud pentru analize predictive care permite dezvoltarea rapidă a modelului și implementarea acestuia. Oferează resurse de calcul flexibile și memorie. Utilizatorii pot scala până la mii de GPU-uri rapid pentru a crește performanța de calcul. Le permite utilizatorilor să lucreze prin browserul web pe medii de inteligență artificială pre-configurate, eliminând supărarea de configurare și instalare.

Impactul scăderii costurilor de antrenare a inteligenței artificiale

Scăderea costurilor de antrenare a inteligenței artificiale are implicații semnificative pentru diverse industrii și domenii, rezultând în inovație și competitivitate îmbunătățită.

Să discutăm câteva dintre ele mai jos.

1. Adoptarea în masă a chatbot-urilor de inteligență artificială sofisticate

Chatbot-urile de inteligență artificială sunt în creștere datorită scăderii costurilor de antrenare a inteligenței artificiale. În special, după dezvoltarea ChatGPT și GPT-4 (Generative Pre-trained Transformer) de către OpenAI, a existat o creștere semnificativă a numărului de companii care doresc să dezvolte chatbot-uri de inteligență artificială cu capacități similare sau mai bune.

De exemplu, cinci zile după lansarea sa în noiembrie 2022, ChatGPT a strâns 1 milion de utilizatori. Deși astăzi, costul de a rula modelul la scară este de aproximativ 0,01 dolari pe întrebare, Legea lui Wright prezice că, până în 2030, aplicațiile de chatbot similare cu ChatGPT vor fi implementate la scară masivă mult mai ieftin (estimat la 650 de dolari pentru a rula un miliard de întrebări), cu potențialul de a procesa 8,5 miliarde de căutări pe zi, echivalent cu Google Search.

Costul de a executa inferențe de inteligență artificială pe un miliard de întrebări – ARK Invest Big Ideas 2023

2. Creșterea utilizării inteligenței artificiale generative

Scăderea costurilor de antrenare a inteligenței artificiale a dus la o creștere a dezvoltării și implementării tehnologiilor de inteligență artificială generativă. În 2022, a existat o creștere semnificativă a utilizării inteligenței artificiale generative, determinată de introducerea unor instrumente inovatoare de inteligență artificială generativă, precum DALL-E 2, Meta Make-A-Video și Stable Diffusion. În 2023, am asistat deja la un model revoluționar sub forma GPT-4.

În afara generării de imagini și text, inteligența artificială generativă ajută la scrierea de cod. Programe precum GitHub Copilot pot ajuta la finalizarea unei sarcini de codare în jumătate de timp.

Timpul necesar pentru a finaliza sarcinile de codare – ARK Invest Big Ideas 2023

3. Utilizarea mai bună a datelor de antrenare

Costurile reduse de antrenare a inteligenței artificiale ar trebui să permită o utilizare mai bună a datelor de antrenare pentru machine learning. De exemplu, raportul ARK Invest 2023 sugerează că, până în 2030, costul de a antrena un model cu 57 de ori mai multe parametri și 720 de ori mai multe token-uri decât GPT-3 (175 miliarde de parametri) ar trebui să scadă de la 17 miliarde de dolari la 600.000 de dolari.

Disponibilitatea și calitatea datelor vor fi principalul factor limitativ pentru dezvoltarea de modele avansate de machine learning în lumea calculului de joasă cost. Cu toate acestea, modelele de antrenare ar dezvolta capacitatea de a procesa aproximativ 162 de trilioane de cuvinte sau 216 trilioane de token-uri.

Viitorul inteligenței artificiale arată foarte promițător. Pentru a afla mai multe despre ultimele tendințe și cercetări în domeniul inteligenței artificiale, vizitați Unite.ai.