AI-treningkostnader fortsetter å falle

Høye AI-treningkostnader har vært en betydelig hindring for AI-adoptsjon, og har forhindret mange selskaper fra å implementere AI-teknologi. Ifølge en 2017 Forrester Consulting-rapport, fremhevet 48% av selskapene høye teknologikostnader som en av de primære grunnene til ikke å implementere AI-drevne løsninger.

Men, nye utviklinger har vist at AI-treningkostnader raskt minker, og denne trenden forventes å fortsette i fremtiden. Ifølge ARK Invest Big Ideas 2023-rapporten, har treningkostnadene for et stort språkmodell liknende GPT-3-nivå ytelse falt fra 4,6 millioner dollar i 2020 til 450 000 dollar i 2022, en nedgang på 70% per år.

La oss utforske denne trenden med nedgang i AI-treningkostnader nærmere og diskutere faktorene som bidrar til denne nedgangen.

Hvordan har AI-treningkostnadene endret seg over tid?

Ifølge den nylige ARK Invest 2020-forskning, er kostnaden ved å kjøre dyptlæringsmodeller 50 ganger raskere enn Moore’s Law. I virkeligheten har utgiftene forbundet med å kjøre et AI-inferenssystem dramatisk redusert til nesten ubetydelige nivåer for mange brukssager.

Videre har treningkostnadene sunket ti ganger årlig de siste årene. For eksempel, i 2017, kostet det å trene en bildeklassifikator som ResNet-50 på en offentlig skytjeneste rundt 1 000 dollar, men allerede i 2019, hadde kostnaden sunket betydelig til rundt 10 dollar.

Disse funnene stemmer overens med en 2020-rapport fra OpenAI, som fant at mengden beregningskraft som trengs for å trene en AI-modell for å utføre samme oppgave, har sunket med en faktor på to hver 16. måned siden 2012.

Videre fremhever ARK-rapporten den synkende AI-treningkostnaden. Rapporten forutser at ved 2030, vil treningkostnaden for et GPT-3-nivåmodell synke til 30 dollar, sammenlignet med 450 000 dollar i 2022.

Kostnad for å trene GPT-3-nivå ytelse – ARK Invest Big Ideas 2023

Faktorer som bidrar til synkende AI-treningkostnader

Trening av AI-modeller blir billigere og enklere ettersom AI-teknologiene fortsetter å forbedre seg, og gjør dem mer tilgjengelige for en bredere rekke av bedrifter. Flere faktorer, inkludert hardware- og programvarekostnader og skybasert AI, har bidratt til synkende AI-treningkostnader.

La oss utforske disse faktorene nedenfor.

1. Hardware

AI krever spesialisert høykvalitets dyrt hardware for å prosessere store mengder data og beregninger. Organisasjoner som NVIDIA, IBM og Google tilbyr GPUs og TPUs for å utføre høy-ytelsesberegninger (HPC). Høye hardwarekostnader gjør det vanskelig å demokratisere AI på stor skala.

Men, ettersom teknologien utvikler seg, synker hardwarekostnadene. Ifølge ARK Invest 2023-rapporten, forutser Wright’s Law at AI-relativ beregningsenhet (RCU) produksjonskostnader, dvs. AI-trening hardwarekostnader, skal synke med 57% årlig, og føre til en 70% reduksjon i AI-treningkostnader ved 2030, som vist i grafen nedenfor.

AI-trening hardwarekostnad – ARK Invest Big Ideas 2023

2. Programvare

AI-programvare treningkostnader kan reduseres med 47% årlig gjennom økt effisiens og skalerbarhet. Programvare-rammeverk som TensorFlow og PyTorch gjør det mulig for utviklere å trene komplekse dyptlæringsmodeller på distribuerte systemer med høy ytelse, og spar tid og ressurser.

Videre hjelper store forhåndstrede modeller som Inceptionv3 eller ResNet og overføringslæringsteknikker også til å redusere kostnadene ved å tillate utviklere å finjustere eksisterende modeller i stedet for å trene dem fra scratch.

AI-programvare treningkostnad – ARK Invest Big Ideas 2023

3. Skybasert kunstig intelligens

Skybasert AI-trening reduserer kostnadene ved å tilby skalerbare beregningsressurser på forespørsel. Med betal-per-bruk-modellen, betaler bedrifter bare for sine beregningsressurser. I tillegg tilbyr skytjenesteleverandører forhåndsbuite AI-tjenester som akselerer AI-trening.

For eksempel, er Azure Machine Learning en skybasert tjeneste for prediktiv analyse som tillater rask modellutvikling og implementering. Den tilbyr fleksible beregningsressurser og minne. Brukere kan skalerer opp til tusenvis av GPUs raskt for å øke deres beregningsytelse. Den tillater brukerne å arbeide gjennom sine nettlesere på forhåndskonfigurerte AI-miljøer, og eliminerer oppsett- og installasjonsbelastning.

Virkingen av synkende AI-treningkostnader

Den synkende AI-treningkostnaden har betydelige implikasjoner for ulike industrier og fagområder, og resulterer i forbedret innovasjon og konkurranse.

La oss diskutere noen av dem nedenfor.

1. Masse-adoptsjon av sofistikerte AI-chatbots

AI-chatbots er på fremmarsj på grunn av synkende AI-kostnader. Spesielt etter utviklingen av OpenAI’s ChatGPT og GPT-4 (Generative Pre-trained Transformer), har det vært en merkbart økning i antall selskaper som ønsker å utvikle AI-chatbots med lignende eller bedre egenskaper.

For eksempel, fem dager etter lanseringen i november 2022, hadde ChatGPT samlet 1 million brukere. Selv om det i dag, koster det å kjøre modellen i skala rundt 0,01 dollar per forespørsel, forutser Wright’s Law at ved 2030, vil chatbot-applikasjoner liknende ChatGPT være deployable på en massiv skala mye billigere (estimert 650 dollar for å kjøre en milliard forespørsler), med potensialet til å prosessere 8,5 milliarder søk per dag, tilsvarende Google Søk.

Kostnad for å utføre AI-inferenser per milliard forespørsler – ARK Invest Big Ideas 2023

2. Økt bruk av generativ AI

Den synkende AI-treningkostnaden har ført til en økning i utviklingen og implementeringen av generativ AI-teknologier. I 2022, var det en betydelig økning i bruken av generativ AI, drevet av introduksjonen av innovative generativ AI-verktøy, som DALL-E 2, Meta Make-A-Video og Stable Diffusion. I 2023, har vi allerede vært vitne til en banebrytende modell i form av GPT-4.

Foruten bilde- og tekstgenerering, hjelper generativ AI utviklere å skrive kode. Programmer som GitHub Copilot kan hjelpe med å fullføre en kodingsoppgave på halv tid.

Tid for å fullføre kodingsoppgaver – ARK Invest Big Ideas 2023

3. Bedre bruk av treningdata

Reduserte AI-treningkostnader forventes å tillate bedre bruk av maskinlærings-treningdata. For eksempel, ARK Invest 2023-rapporten forutser at ved 2030, vil kostnaden for å trene en modell med 57 ganger flere parametre og 720 ganger flere token enn GPT-3 (175B parametre) synke fra 17 milliarder dollar til 600 000 dollar.

Data-tilgjengelighet og -kvalitet vil være den primære begrensningen for å utvikle avanserte maskinlæringsmodeller i denne lavkostnads-verdenen. Men, trening av modeller vil utvikle evnen til å prosessere anslagsvis 162 billioner ord eller 216 billioner token.

Fremtiden for AI ser svært lovende ut. For å lære mer om de siste trendene og forskningen innen feltet kunstig intelligens, besøk Unite.ai.