AI-trainingskosten blijven dalen

Hoge AI-trainingskosten vormden een belangrijke belemmering voor de acceptatie van AI, waardoor veel bedrijven AI-technologie niet konden implementeren. Volgens een Forrester Consulting-rapport 2017benadrukte 48% van de bedrijven hoge technologiekosten als een van de belangrijkste redenen om AI-gestuurde oplossingen niet te implementeren.

Recente ontwikkelingen hebben echter aangetoond dat AI-trainingskosten snel dalen en deze trend zal zich naar verwachting in de toekomst voortzetten. Volgens de ARK Invest Big Ideas 2023-rapport, zijn de trainingskosten van een groot taalmodel vergelijkbaar met de prestaties op GPT-3-niveau gedaald van $ 4.6 miljoen in 2020 tot $ 450,000 in 2022, een daling van 70% per jaar.

Laten we deze trend van dalende AI-trainingskosten verder onderzoeken en de factoren bespreken die aan deze daling bijdragen.

Hoe zijn de AI-trainingskosten in de loop van de tijd veranderd?

Volgens de recente ARK Invest 2020-onderzoek, verbeteren de kosten van het trainen van deep learning-modellen 50 keer sneller dan de wet van Moore. In feite zijn de kosten die gepaard gaan met het runnen van een AI-inferentiesysteem drastisch verlaagd tot bijna verwaarloosbare niveaus voor tal van gebruiksscenario's.

Bovendien zijn de opleidingskosten de afgelopen jaren tien keer per jaar gedaald. In 2017 kostte het trainen van een beeldclassificator zoals ResNet-50 op een openbare cloud bijvoorbeeld ongeveer $ 1,000, maar in 2019 waren de kosten aanzienlijk gedaald tot ongeveer $ 10.

Deze bevindingen komen overeen met een Rapport 2020 door OpenAI, waaruit bleek dat de hoeveelheid rekenkracht die nodig is om een ​​AI-model te trainen om dezelfde taak uit te voeren sinds 16 elke 2012 maanden met een factor twee is afgenomen.

Daarnaast worden de ARK rapport benadrukt de dalende AI-trainingskosten. Het rapport voorspelt dat tegen 2030 de trainingskosten van een model op GPT-3-niveau zullen dalen tot $30, vergeleken met $450,000 in 2022.

Kosten om prestaties op GPT-3-niveau te trainen - ARK Invest Grote Ideeën 2023

Factoren die bijdragen aan dalende AI-trainingskosten

Het trainen van AI-modellen wordt goedkoper en gemakkelijker naarmate AI-technologieën blijven verbeteren, waardoor ze toegankelijker worden voor een breder scala aan bedrijven. Verschillende factoren, waaronder hardware- en softwarekosten en cloudgebaseerde AI, hebben bijgedragen aan dalende AI-trainingskosten.

Laten we deze factoren hieronder eens bekijken.

1. Hardware

AI vereist gespecialiseerde, dure hardware van hoge kwaliteit om grote hoeveelheden gegevens en berekeningen te verwerken. Organisaties zoals NVIDIA, IBM en Google bieden GPU's en TPU's om HPC-workloads (high-performance computing) uit te voeren. Hoge hardwarekosten maken het moeilijk om AI op grote schaal te democratiseren.

Naarmate de technologie vordert, nemen de hardwarekosten echter af. Volgens de ARK Invest 2023-rapport, voorspelt de wet van Wright dat de productiekosten van AI-relatieve compute-eenheden (RCU's), dwz de hardwarekosten voor AI-training, jaarlijks met 57% zouden moeten dalen, wat zou moeten leiden tot een verlaging van de AI-trainingskosten met 70% tegen 2030, zoals weergegeven in de onderstaande grafiek.

Kosten voor AI-trainingshardware - ARK Invest Grote Ideeën 2023

2. Software

Trainingskosten voor AI-software kunnen worden verlaagd met 47% jaarlijks door verhoogde efficiëntie en schaalbaarheid. Softwareframeworks zoals TensorFlow en PyTorch stelt ontwikkelaars in staat om complexe deep learning-modellen te trainen op gedistribueerde systemen met hoge prestaties, waardoor tijd en middelen worden bespaard.

Verder grote voorgetrainde modellen zoals Inceptionv3 or ResNet en transfer learning-technieken helpen ook de kosten te verlagen doordat ontwikkelaars bestaande modellen kunnen verfijnen in plaats van ze helemaal opnieuw te trainen.

Trainingskosten AI-software - ARK Invest Grote Ideeën 2023

3. Op de cloud gebaseerde kunstmatige intelligentie

Cloudgebaseerde AI-training verlaagt de kosten door on-demand schaalbare computerbronnen te bieden. Met het pay-as-you-go-model betalen bedrijven alleen voor hun computerresources. Ook bieden cloudproviders kant-en-klare AI-services die AI-training versnellen.

Azure Machine Learning is bijvoorbeeld een cloudgebaseerde service voor voorspellende analyses die snelle modelontwikkeling en -implementatie mogelijk maakt. Het biedt flexibele computerbronnen en geheugen. Gebruikers kunnen snel opschalen naar duizenden GPU's om hun computerprestaties te verbeteren. Het stelt gebruikers in staat om via hun webbrowsers te werken op vooraf geconfigureerde AI-omgevingen, waardoor installatie- en setup-overhead wordt geëlimineerd.

De impact van dalende AI-trainingskosten

De dalende kosten van AI-training hebben aanzienlijke implicaties voor verschillende industrieën en gebieden, wat resulteert in verbeterde innovatie en concurrentievermogen.

Laten we er hieronder een paar bespreken.

1. Massa-adoptie van geavanceerde AI-chatbots

AI-chatbots zijn in opmars door dalende AI-kosten. Zeker na de ontwikkeling van OpenAI's ChatGPT en GPT-4 (Generative Pre-trained Transformer), is er een merkbare toename in het aantal bedrijven dat AI-chatbots wil ontwikkelen met vergelijkbare of betere mogelijkheden.

Vijf dagen na de release in november 2022 had ChatGPT bijvoorbeeld 1 miljoen gebruikers. Hoewel vandaag de dag de kosten om het model op schaal uit te voeren ongeveer $ 01 per zoekopdracht bedragen, voorspelt de wet van Wright dat tegen 2030 chatbot-applicaties die vergelijkbaar zijn met ChatGPT op grote schaal en veel goedkoper zullen kunnen worden ingezet (naar schatting $ 650 om een ​​miljard zoekopdrachten uit te voeren). met het potentieel om 8.5 miljard zoekopdrachten per dag te verwerken, gelijk aan Google Zoeken.

Kosten voor het uitvoeren van AI-conclusies per miljard zoekopdrachten - ARK Invest Grote Ideeën 2023

2. Meer gebruik van generatieve AI

De dalende kosten van AI-training hebben geleid tot een toename van de ontwikkeling en implementatie van generatieve AI-technologieën. In 2022 was er een aanzienlijke toename in het gebruik van generatieve AI, aangedreven door de introductie van innovatieve generatieve AI-tools, zoals DALL-E 2, Meta Make-A-Video en Stable Diffusion. In 2023 waren we al getuige van een baanbrekend model in de vorm van GPT-4.

Afgezien van het genereren van afbeeldingen en tekst, helpt generatieve AI ontwikkelaars bij het schrijven van code. Programma's zoals GitHub Copilot kunnen helpen een codeertaak in de helft van de tijd te voltooien.

Tijd om codeertaken te voltooien - ARK Invest Grote Ideeën 2023

3. Beter gebruik van trainingsgegevens

Verwacht wordt dat lagere AI-trainingskosten een beter gebruik van machine learning-trainingsgegevens mogelijk zullen maken. Bijvoorbeeld, ARK Invest 2023-rapport suggereert dat tegen 2030 de kosten van het trainen van een model met 57 keer meer parameters en 720 keer meer tokens dan GPT-3 (175B parameters) naar verwachting zullen dalen van $ 17 miljard naar $ 600,000.

Beschikbaarheid en kwaliteit van gegevens zullen de belangrijkste beperkende factor zijn voor het ontwikkelen van geavanceerde machine learning-modellen in deze goedkope computerwereld. Trainingsmodellen zouden echter de capaciteit ontwikkelen om naar schatting 162 biljoen woorden of 216 biljoen tokens te verwerken.

De toekomst van AI ziet er veelbelovend uit. Ga voor meer informatie over de nieuwste trends en onderzoeken op het gebied van kunstmatige intelligentie naar Verenig.ai.