AI-trainingskosten blijven dalen

Hoge AI-trainingskosten vormden een aanzienlijke barrière voor de adoptie van AI, waardoor veel bedrijven geen AI-technologie konden implementeren. Volgens een rapport van Forrester Consulting uit 2017 gaven 48% van de bedrijven aan dat hoge technologiekosten een van de belangrijkste redenen waren om geen AI-gedreven oplossingen te implementeren.

Recente ontwikkelingen hebben echter aangetoond dat de AI-trainingskosten snel dalen en dat deze trend naar verwachting in de toekomst zal aanhouden. Volgens het ARK Invest Big Ideas 2023-rapport zijn de trainingskosten van een groot taalmodel met een prestatieniveau vergelijkbaar met GPT-3 gedaald van $ 4,6 miljoen in 2020 tot $ 450.000 in 2022, een daling van 70% per jaar.

Laten we deze trend van dalende AI-trainingskosten verder onderzoeken en de factoren bespreken die hieraan bijdragen.

Hoe zijn de AI-trainingskosten in de loop van de tijd veranderd?

Volgens recent onderzoek van ARK Invest uit 2020 verbetert de kosten van het trainen van diepe leermodellen 50 keer sneller dan de wet van Moore. Feitelijk is het bedrag dat nodig is om een AI-inferentiesysteem uit te voeren, drastisch gedaald tot vrijwel nihil voor veel use-cases.

Bovendien zijn de trainingskosten het afgelopen jaar tien keer zo snel gedaald. Zo kostte het trainen van een afbeeldingsclassificator zoals ResNet-50 in 2017 op een openbare cloud ongeveer $ 1.000, maar tegen 2019 was de kost gedaald tot ongeveer $ 10.

Deze bevindingen komen overeen met een rapport van OpenAI uit 2020, waaruit bleek dat de hoeveelheid rekenkracht die nodig is om een AI-model te trainen om dezelfde taak uit te voeren, sinds 2012 elke 16 maanden met een factor twee is afgenomen.

Bovendien benadrukt het ARK-rapport de dalende AI-trainingskosten. Het rapport voorspelt dat tegen 2030 de trainingskosten van een model met een prestatieniveau van GPT-3 zullen dalen tot $ 30, tegen $ 450.000 in 2022.

Kosten voor het trainen van een GPT-3-niveau – ARK Invest Big Ideas 2023

Factoren die bijdragen aan dalende AI-trainingskosten

Het trainen van AI-modellen wordt goedkoper en gemakkelijker naarmate AI-technologieën blijven verbeteren, waardoor ze toegankelijker worden voor een bredere range aan bedrijven. Verschillende factoren, waaronder hardware- en softwarekosten en cloud-gebaseerde AI, hebben bijgedragen aan de dalende AI-trainingskosten.

Laten we deze factoren hieronder onderzoeken.

1. Hardware

AI vereist gespecialiseerde high-end dure hardware om grote hoeveelheden gegevens en berekeningen te verwerken. Organisaties zoals NVIDIA (NVDA ), IBM en Google (GOOGL ) bieden GPUs en TPUs om high-performance computing (HPC) workloads uit te voeren. Hoge hardwarekosten maken het moeilijk om AI op grote schaal te democratiseren.

Maar naarmate de technologie vordert, dalen de hardwarekosten. Volgens het ARK Invest 2023-rapport voorspelt Wright’s Law dat de productiekosten van AI-relevante compute-eenheden (RCU), d.w.z. AI-trainingshardwarekosten, jaarlijks met 57% moeten dalen, wat leidt tot een daling van 70% in de AI-trainingskosten tegen 2030, zoals weergegeven in de onderstaande grafiek.

AI-trainingshardwarekosten – ARK Invest Big Ideas 2023

2. Software

AI-softwaretrainingskosten kunnen worden verlaagd door 47% per jaar door verbeterde efficiëntie en schaalbaarheid. Softwareframeworks zoals TensorFlow en PyTorch stellen ontwikkelaars in staat om complexe diepe leermodellen te trainen op gedistribueerde systemen met hoge prestaties, waardoor tijd en middelen worden bespaard.

Bovendien helpen grote voorge trainde modellen zoals Inceptionv3 of ResNet en technieken voor overdracht van leren om kosten te verlagen door ontwikkelaars in staat te stellen bestaande modellen te fine-tunen in plaats van ze van scratch te trainen.

AI-softwaretrainingskosten – ARK Invest Big Ideas 2023

3. Cloud-gebaseerde kunstmatige intelligentie

Cloud-gebaseerde AI-training verlaagt de kosten door schaalbare rekenbronnen op aanvraag te bieden. Met het pay-as-you-go-model betalen bedrijven alleen voor hun rekenbronnen. Bovendien bieden cloudproviders vooraf gebouwde AI-diensten die de AI-training versnellen.

Bijvoorbeeld is Azure Machine Learning een cloud-gebaseerde service voor predictieve analytics die snelle modelontwikkeling en -implementatie mogelijk maakt. Het biedt flexibele rekenbronnen en geheugen. Gebruikers kunnen snel opschalen tot duizenden GPUs om hun rekenprestaties te verbeteren. Het stelt gebruikers in staat om via hun webbrowser te werken in vooraf geconfigureerde AI-omgevingen, waardoor de installatie- en insteloverhead worden geëlimineerd.

De impact van dalende AI-trainingskosten

De dalende AI-trainingskosten hebben aanzienlijke gevolgen voor verschillende industrieën en gebieden, waardoor innovatie en concurrentie verbeteren.

Laten we er een paar bespreken.

1. Grootschalige adoptie van geavanceerde AI-chatbots

AI-chatbots zijn in opkomst vanwege de dalende AI-kosten. Vooral na de ontwikkeling van OpenAI’s ChatGPT en GPT-4 (Generative Pre-trained Transformer) is er een opvallende toename in het aantal bedrijven dat AI-chatbots met soortgelijke of betere mogelijkheden wil ontwikkelen.

Om een voorbeeld te geven, had ChatGPT vijf dagen na de release in november 2022 al 1 miljoen gebruikers. Hoewel de kosten om het model op grote schaal uit te voeren tegenwoordig ongeveer $ 0,01 per query bedragen, voorspelt Wright’s Law dat tegen 2030 chatbot-toepassingen die vergelijkbaar zijn met ChatGPT, op grote schaal kunnen worden ingezet tegen een veel lagere prijs (geschat op $ 650 om een miljard queries uit te voeren), met het potentieel om 8,5 miljard zoekopdrachten per dag te verwerken, wat gelijk is aan Google Search.

Kosten voor het uitvoeren van AI-inferenties per miljard queries – ARK Invest Big Ideas 2023

2. Toegenomen gebruik van generatieve AI

De dalende AI-trainingskosten hebben geleid tot een toename in de ontwikkeling en implementatie van generatieve AI-technologieën. In 2022 was er een aanzienlijke toename in het gebruik van generatieve AI, aangedreven door de introductie van innovatieve generatieve AI-hulpmiddelen, zoals DALL-E 2, Meta Make-A-Video en Stable Diffusion. In 2023 hebben we al een baanbrekend model gezien in de vorm van GPT-4.

Naast afbeeldings- en tekstgeneratie helpt generatieve AI ontwikkelaars bij het schrijven van code. Programma’s zoals GitHub Copilot kunnen helpen bij het voltooien van een codetaak in de helft van de tijd.

Tijd om codetaken te voltooien – ARK Invest Big Ideas 2023

3. Beter gebruik van trainingsgegevens

Verlaagde AI-trainingskosten zullen naar verwachting een beter gebruik van machine learning-trainingsgegevens mogelijk maken. Zo stelt het ARK Invest 2023-rapport voor dat tegen 2030 de kosten voor het trainen van een model met 57 keer meer parameters en 720 keer meer tokens dan GPT-3 (175B parameters) zullen dalen van $ 17 miljard tot $ 600.000.

De beschikbaarheid en kwaliteit van de gegevens zullen de belangrijkste beperkende factor zijn voor het ontwikkelen van geavanceerde machine learning-modellen in deze wereld met lage rekenkosten. Echter, trainingsmodellen zullen de capaciteit ontwikkelen om een geschatte 162 biljoen woorden of 216 biljoen tokens te verwerken.

De toekomst van AI ziet er veelbelovend uit. Om meer te leren over de laatste trends en onderzoek in het veld van kunstmatige intelligentie, bezoek Unite.ai.