AI-træningsomkostninger fortsætter med at dykke

Høje AI-træningsomkostninger har været en betydelig barriere for AI-adoption, og har forhindret mange virksomheder i at implementere AI-teknologi. Ifølge en 2017 Forrester Consulting-rapport, fremhævede 48% af virksomhederne høje teknologiomkostninger som en af de primære årsager til, at de ikke implementerede AI-drevne løsninger.

Men nyere udviklinger har vist, at AI-træningsomkostninger falder hurtigt, og denne trend forventes at fortsætte i fremtiden. Ifølge ARK Invest Big Ideas 2023-rapporten, er træningsomkostningerne for et stort sprogmodel lignende GPT-3-niveauet faldet fra 4,6 millioner dollars i 2020 til 450.000 dollars i 2022, en nedgang på 70% om året.

Lad os udforske denne trend med faldende AI-træningsomkostninger nærmere og diskutere de faktorer, der bidrager til denne nedgang.

Hvordan har AI-træningsomkostninger ændret sig over tid?

Ifølge den nyeste ARK Invest 2020-forskning, er omkostningerne ved at træne dybe læringmodeller forbedret 50 gange hurtigere end Moore’s Law. I virkeligheden er omkostningerne ved at køre et AI-inferenssystem faldet dramatisk til næsten negligible niveauer for mange brugsområder.

Desuden er træningsomkostningerne faldet ti gange årligt i de seneste år. For eksempel kostede det i 2017 omkring 1.000 dollars at træne en billedklassifikator som ResNet-50 på en offentlig sky, men allerede i 2019 var omkostningerne faldet betydeligt til omkring 10 dollars.

Disse resultater stemmer overens med en 2020-rapport fra OpenAI, som fandt, at mængden af beregningskraft, der er nødvendig for at træne et AI-model til at udføre samme opgave, er faldet med en faktor på to hver 16. måned siden 2012.

Endvidere fremhæver ARK-rapporten de faldende AI-træningsomkostninger. Rapporten forudser, at træningsomkostningerne for et GPT-3-niveau model vil falde til 30 dollars i 2030, sammenlignet med 450.000 dollars i 2022.

Omkring til at træne GPT-3-niveau – ARK Invest Big Ideas 2023

Faktorer, der bidrager til faldende AI-træningsomkostninger

Træning af AI-modeller bliver billigere og nemmere, da AI-teknologierne fortsætter med at forbedre sig, og gør dem mere tilgængelige for en bred vifte af virksomheder. Flere faktorer, herunder hardware- og softwareomkostninger samt cloud-baseret AI, har bidraget til de faldende AI-træningsomkostninger.

Lad os udforske disse faktorer nærmere.

1. Hardware

AI kræver specialiseret højendt kostbart hardware til at behandle store mængder data og beregninger. Organisationer som NVIDIA, IBM og Google tilbyder GPUs og TPUs til at udføre højpræstationsberegninger (HPC). Høje hardwareomkostninger gør det svært at demokratisere AI på en stor skala.

Men da teknologien udvikler sig, falder hardwareomkostningerne. Ifølge ARK Invest 2023-rapporten forudser Wright’s Law, at AI-relaterede beregningsenheds (RCU) produktionsomkostninger, dvs. AI-træningshardwareomkostninger, skal falde med 57% årligt, hvilket vil føre til en 70% reduktion i AI-træningsomkostninger i 2030, som vist i grafen nedenfor.

AI-træningshardwareomkostninger – ARK Invest Big Ideas 2023

2. Software

AI-software træningsomkostninger kan reduceres med 47% årligt gennem øget effektivitet og skalerbarhed. Software-rammer som TensorFlow og PyTorch giver udviklere mulighed for at træne komplekse dybe læringmodeller på distribuerede systemer med høj præstation, hvilket sparer tid og ressourcer.

Desuden hjælper store forudtrænede modeller som Inceptionv3 eller ResNet og overførselsteknikker også med at reducere omkostninger ved at give udviklere mulighed for at finjustere eksisterende modeller i stedet for at træne dem fra scratch.

AI-software træningsomkostninger – ARK Invest Big Ideas 2023

3. Cloud-baseret kunstig intelligens

Cloud-baseret AI-træning reducerer omkostninger ved at give skalerbare beregningsressourcer på krav. Med betal-per-brug-modellen betaler virksomheder kun for deres beregningsressourcer. Desuden tilbyder cloud-udbydere forudbyggede AI-tjenester, der accelererer AI-træning.

For eksempel er Azure Machine Learning en cloud-baseret tjeneste til prædikativ analyse, der giver mulighed for hurtig modeludvikling og implementering. Den tilbyder fleksible beregningsressourcer og hukommelse. Brugere kan skala op til tusinder af GPUs hurtigt for at øge deres beregningspræstation. Den giver brugerne mulighed for at arbejde gennem deres webbrowser på forudkonfigurerede AI-miljøer, hvilket eliminerer installations- og opsætningsomkostninger.

Effekten af faldende AI-træningsomkostninger

De faldende AI-træningsomkostninger har betydelige implikationer for forskellige industrier og områder, hvilket resulterer i forbedret innovation og konkurrence.

Lad os diskutere nogle af dem nedenfor.

1. Masse-adoption af avancerede AI-chatbots

AI-chatbots er på vej op på grund af de faldende AI-omkostninger. Især efter udviklingen af OpenAI’s ChatGPT og GPT-4 (Generative Pre-trained Transformer), har der været en bemærkelsesværdig stigning i antallet af virksomheder, der søger at udvikle AI-chatbots med lignende eller bedre funktioner.

For eksempel havde ChatGPT samlet 1 million brugere fem dage efter udgivelsen i november 2022. Selvom det i dag koster omkring 0,01 dollar at køre modellen i stor skala, forudser Wright’s Law, at chatbot-applikationer lignende ChatGPT vil være udviklet på en massiv skala meget billigere (estimeret 650 dollar til at køre en milliard forespørgsler), med potentialet til at behandle 8,5 milliarder søgninger om dagen, svarende til Google Søg.

Omkring til at udføre AI-inferencer per milliard forespørgsler – ARK Invest Big Ideas 2023

2. Øget brug af generativ AI

De faldende AI-træningsomkostninger har ført til en stigning i udviklingen og implementeringen af generative AI-teknologier. I 2022 var der en betydelig stigning i brugen af generativ AI, drevet af introduktionen af innovative generative AI-værktøjer som DALL-E 2, Meta Make-A-Video og Stable Diffusion. I 2023 har vi allerede set et banebrydende model i form af GPT-4.

Ud over billed- og tekstgenerering hjælper generativ AI udviklere med at skrive kode. Programmer som GitHub Copilot kan hjælpe med at fuldføre en kodningsopgave på halv tid.

Tid til at fuldføre kodningsopgaver – ARK Invest Big Ideas 2023

3. Bedre brug af træningsdata

De reducerede AI-træningsomkostninger forventes at give bedre mulighed for at udnytte maskinlærings-træningsdata. For eksempel forudser ARK Invest 2023-rapporten, at omkostningerne ved at træne et model med 57 gange flere parametre og 720 gange flere tokens end GPT-3 (175B parametre) vil falde fra 17 milliarder dollars til 600.000 dollars.

Data-tilgængelighed og -kvalitet vil være den primære begrænsende faktor for udviklingen af avancerede maskinlæringsmodeller i denne lavomkostnings-verden. Men træningsmodeller vil udvikle kapacitet til at behandle anslået 162 billioner ord eller 216 billioner tokens.

Fremtiden for AI ser meget lovende ud. For at lære mere om de seneste trends og forskning i feltet kunstig intelligens, besøg Unite.ai.