AI-træningsomkostninger fortsætter med at dykke

Høje AI-træningsomkostninger har været en betydelig barriere for AI-adopteringsprocessen og har forhindret mange virksomheder i at implementere AI-teknologi. Ifølge en 2017 Forrester Consulting-rapport fremhævede 48% af virksomhederne høje teknologiomkostninger som en af de primære årsager til, at de ikke implementerede AI-drevne løsninger.

Men nyere udviklinger har vist, at AI-træningsomkostninger falder hurtigt, og denne trend forventes at fortsætte i fremtiden. Ifølge ARK Invest Big Ideas 2023-rapporten er træningsomkostningerne for et stort sprogmodel lignende GPT-3’s præstation faldet fra 4,6 millioner dollars i 2020 til 450.000 dollars i 2022, en nedgang på 70% om året.

Lad os udforske denne trend med faldende AI-træningsomkostninger nærmere og diskutere de faktorer, der bidrager til denne nedgang.

Hvordan har AI-træningsomkostninger ændret sig over tid?

Ifølge den nyeste ARK Invest 2020-forskning er omkostningerne til træning af dybe læreningsmodeller forbedret 50 gange hurtigere end Moore’s Love. Faktisk er udgiften til at køre et AI-inferencesystem drastisk reduceret til næsten negligerbare niveauer for mange brugsområder.

Desuden er træningsomkostningerne faldet ti gange årligt over de seneste få år. For eksempel kostede det i 2017 omkring 1.000 dollars at træne en billedklassifikator som ResNet-50 på en offentlig sky, men allerede i 2019 var omkostningerne faldet betydeligt til omkring 10 dollars.

Disse fund er i overensstemmelse med en 2020-rapport fra OpenAI, som fandt, at mængden af beregningskraft, der kræves til at træne et AI-model til at udføre det samme job, er faldet med en faktor på to hver 16. måned siden 2012.

Desuden fremhæver ARK-rapporten de faldende AI-træningsomkostninger. Rapporten forudser, at træningsomkostningerne for et GPT-3-niveau-model vil falde til 30 dollars i 2030, sammenlignet med 450.000 dollars i 2022.

Omkring til at træne GPT-3-niveau-præstation – ARK Invest Big Ideas 2023

Faktorer, der bidrager til faldende AI-træningsomkostninger

Træning af AI-modeller bliver billigere og lettere, da AI-teknologierne fortsætter med at forbedre sig, og det gør dem mere tilgængelige for en bred vifte af virksomheder. Flere faktorer, herunder hardware- og softwareomkostninger samt cloud-baseret AI, har bidraget til de faldende AI-træningsomkostninger.

Lad os udforske disse faktorer nærmere.

1. Hardware

AI kræver specialiseret, dyrt hardware til at behandle store mængder data og beregninger. Organisationer som NVIDIA (NVDA ), IBM og Google (GOOGL ) tilbyder GPUs og TPUs til at udføre højpræstationsberegninger (HPC). Høje hardwareomkostninger gør det svært at demokratisere AI på stor skala.

Men da teknologien udvikler sig, falder hardwareomkostningerne. Ifølge ARK Invest 2023-rapporten forudser Wright’s Love, at AI-relaterede beregningsenhedsproduktionsomkostninger (RCU), dvs. AI-træningshardwareomkostninger, skal falde med 57% årligt, hvilket vil føre til en 70% reduktion i AI-træningsomkostninger i 2030, som vist i grafen nedenfor.

AI-træningshardwareomkostninger – ARK Invest Big Ideas 2023

2. Software

AI-softwaretræningsomkostninger kan reduceres med 47% årligt gennem øget effektivitet og skalerbarhed. Software-rammer som TensorFlow og PyTorch giver udviklere mulighed for at træne komplekse dybe læreningsmodeller på distribuerede systemer med høj præstation, hvilket sparer tid og ressourcer.

Desuden hjælper store fortrænede modeller som Inceptionv3 eller ResNet og overførselsteknikker også med at reducere omkostninger ved at give udviklere mulighed for at finjustere eksisterende modeller i stedet for at træne dem fra scratch.

AI-softwaretræningsomkostninger – ARK Invest Big Ideas 2023

3. Cloud-baseret kunstig intelligens

Cloud-baseret AI-træning reducerer omkostninger ved at give skalerbare beregningsressourcer på krav. Med betal-per-brug-modellen betaler virksomheder kun for deres beregningsressourcer. Desuden tilbyder cloud-udbydere forudkonfigurerede AI-tjenester, der accelererer AI-træning.

For eksempel er Azure Machine Learning en cloud-baseret tjeneste til prædikativ analyse, der giver mulighed for hurtig modeludvikling og implementering. Den tilbyder fleksible beregningsressourcer og hukommelse. Brugere kan skalerer op til tusinder af GPUs hurtigt for at øge deres beregningspræstation. Den giver brugerne mulighed for at arbejde gennem deres webbrowser på forudkonfigurerede AI-miljøer, hvilket eliminerer installations- og installationsomkostninger.

Effekten af faldende AI-træningsomkostninger

De faldende AI-træningsomkostninger har betydelige konsekvenser for forskellige industrier og fagområder, hvilket resulterer i forbedret innovation og konkurrence.

Lad os diskutere nogle af dem nedenfor.

1. Massetilpasning af avancerede AI-chatbots

AI-chatbots er på vej op på grund af de faldende AI-omkostninger. Især efter udviklingen af OpenAI’s ChatGPT og GPT-4 (Generative Pre-trained Transformer) har der været en bemærkelsesværdig stigning i antallet af virksomheder, der søger at udvikle AI-chatbots med lignende eller bedre funktioner.

For eksempel havde ChatGPT samlet 1 million brugere fem dage efter udgivelsen i november 2022. Selvom det i dag koster omkring 0,01 dollar per forespørgsel at køre modellen i stor målestok, forudser Wright’s Love, at chatbot-applikationer lignende ChatGPT vil kunne implementeres på en massiv skala meget billigere (estimeret 650 dollar for at køre en milliard forespørgsler) med potentialet for at behandle 8,5 milliarder søgninger om dagen, svarende til Google Søg.

Omkring til at udføre AI-inferencer pr. milliard forespørgsler – ARK Invest Big Ideas 2023

2. Øget brug af generativ AI

De faldende AI-træningsomkostninger har ført til en stigning i udviklingen og implementeringen af generative AI-teknologier. I 2022 var der en betydelig stigning i brugen af generativ AI, drevet af introduktionen af innovative generative AI-værktøjer som DALL-E 2, Meta Make-A-Video og Stable Diffusion. I 2023 har vi allerede set et banebrydende model i form af GPT-4.

Foruden billed- og tekstgenerering hjælper generativ AI udviklere med at skrive kode. Programmer som GitHub Copilot kan hjælpe med at fuldføre en kodningsopgave på halv tid.

Tid til at fuldføre kodningsopgaver – ARK Invest Big Ideas 2023

3. Bedre brug af træningsdata

De reducerede AI-træningsomkostninger forventes at give mulighed for bedre udnyttelse af maskinlærings-træningsdata. For eksempel forudser ARK Invest 2023-rapporten, at omkostningerne til at træne en model med 57 gange flere parametre og 720 gange flere tokens end GPT-3 (175 mia. parametre) vil falde fra 17 milliarder dollar til 600.000 dollar.

Data-tilgængelighed og -kvalitet vil være den primære begrænsende faktor for udvikling af avancerede maskinlæringsmodeller i denne lavomkostningsverden. Men træningsmodeller vil udvikle kapacitet til at behandle anslået 162 billioner ord eller 216 billioner tokens.

Fremtiden for AI ser meget lovende ud. For at lære mere om de seneste trends og forskning i AIfeltet kan du besøge Unite.ai.