Costurile instruirii AI continuă să scadă

Costurile ridicate de instruire AI au reprezentat o barieră semnificativă în calea adoptării AI, împiedicând multe companii să implementeze tehnologia AI. Potrivit unui Raport de consultanță Forrester 2017, 48% dintre companii au evidențiat costurile ridicate ale tehnologiei ca fiind unul dintre motivele principale pentru care nu implementează soluții bazate pe inteligență artificială.

Cu toate acestea, evoluțiile recente au arătat că costurile de instruire AI sunt în scădere rapidă, iar această tendință este de așteptat să continue în viitor. In conformitate cu Raportul ARK Invest Big Ideas 2023, costurile de instruire ale unui model lingvistic mare similar cu performanța la nivel GPT-3 au scăzut de la 4.6 milioane USD în 2020 la 450,000 USD în 2022, o scădere de 70% pe an.

Să explorăm în continuare această tendință de scădere a costurilor de formare AI și să discutăm factorii care contribuie la acest declin.

Cum s-au schimbat costurile instruirii AI de-a lungul timpului?

Conform celor recente Cercetarea ARK Invest 2020, costul antrenării modelelor de învățare profundă se îmbunătățește de 50 de ori mai repede decât Legea lui Moore. De fapt, cheltuielile asociate cu rularea unui sistem de inferență AI s-au redus drastic la niveluri aproape neglijabile pentru numeroase cazuri de utilizare.

În plus, costurile de formare au scăzut de zece ori pe an în ultimii ani. De exemplu, în 2017, antrenarea unui clasificator de imagini precum ResNet-50 pe un cloud public a costat aproximativ 1,000 USD, dar până în 2019, costul a scăzut semnificativ la aproximativ 10 USD.

Aceste constatări se aliniază cu a Raport 2020 al OpenAI, care a constatat că cantitatea de putere de calcul necesară pentru a antrena un model AI pentru a îndeplini aceeași sarcină a scăzut cu un factor de două la fiecare 16 luni din 2012.

Mai mult decât atât, Raport ARK evidențiază scăderea costurilor de formare AI. Raportul estimează că până în 2030 costul de formare al unui model de nivel GPT-3 va scădea la 30 USD, comparativ cu 450,000 USD în 2022.

Costul pregătirii performanței la nivel GPT-3 – ARK Invest Big Ideas 2023

Factori care contribuie la scăderea costurilor de formare AI

Modelele de instruire AI devin mai ieftine și mai ușoare pe măsură ce tehnologiile AI continuă să se îmbunătățească, făcându-le mai accesibile pentru o gamă mai largă de întreprinderi. Mai mulți factori, inclusiv costurile hardware și software și IA bazată pe cloud, au contribuit la scăderea costurilor de formare AI.

Să explorăm mai jos acești factori.

1. Hardware

AI necesită un hardware costisitor de vârf specializat pentru a procesa volume mari de date și calcule. Organizații precum NVIDIA, IBM și Google oferă unități de procesare grafică și TPU-uri pentru a executa sarcini de lucru de calcul de înaltă performanță (HPC). Costurile ridicate de hardware fac dificilă democratizarea AI la scară largă.

Cu toate acestea, pe măsură ce tehnologia avansează, costurile cu hardware-ul sunt în scădere. In conformitate cu Raportul ARK Invest 2023, Legea lui Wright prezice că costurile de producție ale unităților de calcul relative (RCU) AI, adică costurile hardware-ului de instruire AI, ar trebui să scadă cu 57% anual, ceea ce duce la o reducere cu 70% a costurilor de formare AI până în 2030, așa cum se arată în graficul de mai jos.

Costul hardware de formare AI – ARK Invest Big Ideas 2023

Software-ul 2

Costurile de instruire pentru software AI pot fi reduse prin 47% anual prin creșterea eficienței și scalabilității. Cadre software ca TensorFlow și PyTorch permite dezvoltatorilor să antreneze modele complexe de deep learning pe sisteme distribuite cu performanțe ridicate, economisind timp și resurse.

În plus, modelele mari pre-antrenate ca Inceputv3 or ResNet și tehnicile de învățare prin transfer ajută, de asemenea, la reducerea costurilor, permițând dezvoltatorilor să ajusteze modelele existente, mai degrabă decât să le antreneze de la zero.

Costul instruirii software AI – ARK Invest Big Ideas 2023

3. Inteligența artificială bazată pe cloud

Instruirea AI bazată pe cloud reduce costurile prin furnizarea de resurse de calcul scalabile la cerere. Cu modelul pay-as-you-go, companiile plătesc doar pentru resursele lor de calcul. De asemenea, furnizorii de cloud oferă servicii AI pre-construite care accelerează instruirea AI.

De exemplu, Azure Machine Learning este un serviciu bazat pe cloud pentru analiză predictivă care permite dezvoltarea și implementarea rapidă a modelului. Oferă resurse de calcul flexibile și memorie. Utilizatorii pot scala rapid până la mii de GPU-uri pentru a-și crește performanța de calcul. Permite utilizatorilor să lucreze prin browserele lor web în medii AI preconfigurate, eliminând costurile de configurare și instalare.

Impactul scăderii costurilor de formare AI

Costurile în scădere ale formării AI au implicații semnificative pentru diferite industrii și domenii, rezultând în inovare și competitivitate îmbunătățite.

Să discutăm câteva dintre ele mai jos.

1. Adoptarea în masă a chatbot-urilor AI sofisticate

Chatbot-urile AI sunt în creștere din cauza scăderii costurilor AI. Mai ales după dezvoltarea OpenAI-urilor Chat GPT și GPT-4 (Generative Pre-Trained Transformer), a existat o creștere vizibilă a numărului de companii care doresc să dezvolte chatbot-uri AI cu capacități similare sau mai bune.

De exemplu, la cinci zile după lansarea sa în noiembrie 2022, ChatGPT a adunat 1 milion de utilizatori. Deși astăzi, costul rulării modelului la scară este de aproximativ 01 USD per interogare, Legea lui Wright prevede că până în 2030, aplicațiile chatbot similare ChatGPT vor fi implementate la scară masivă mult mai ieftine (estimat la 650 USD pentru a rula un miliard de interogări). cu potențialul de a procesa 8.5 miliarde de căutări pe zi, echivalentul Căutării Google.

Costul executării inferențelor AI per miliard de interogări – ARK Invest Big Ideas 2023

2. Utilizarea sporită a IA generativă

Costurile în scădere ale instruirii AI au condus la o creștere a dezvoltării și implementării tehnologiilor AI generative. În 2022, a existat o creștere semnificativă a utilizării IA generativă, determinată de introducerea instrumentelor inovatoare de IA generativă, cum ar fi DALL-E 2, Meta Make-A-Video și Stable Diffusion. În 2023, am asistat deja la un model inovator sub forma GPT-4.

Pe lângă generarea de imagini și text, IA generativă îi ajută pe dezvoltatori să scrie cod. Programe precum GitHub Copilot pot ajuta la finalizarea unei sarcini de codare în jumătate din timp.

Timpul pentru a finaliza sarcinile de codare - ARK Invest Big Ideas 2023

3. Utilizare mai bună a datelor de antrenament

Se preconizează că costurile reduse de instruire AI vor permite o mai bună utilizare a datelor de instruire a învățării automate. De exemplu, Raportul ARK Invest 2023 sugerează că, până în 2030, costul antrenării unui model cu de 57 de ori mai mulți parametri și de 720 de ori mai mulți jetoane decât GPT-3 (parametri 175B) va scădea de la 17 miliarde USD la 600,000 USD.

Disponibilitatea și calitatea datelor vor fi principalul factor limitator pentru dezvoltarea modelelor avansate de învățare automată în această lume a calculatoarelor cu costuri reduse. Cu toate acestea, modelele de instruire ar dezvolta capacitatea de a procesa aproximativ 162 de trilioane de cuvinte sau 216 de trilioane de jetoane.

Viitorul AI pare foarte promițător. Pentru a afla mai multe despre cele mai recente tendințe și cercetări în domeniul inteligenței artificiale, vizitați Unite.ai.