AI-treningkostnader fortsetter å falle

Høye AI-treningkostnader har vært en betydelig hindring for AI-adoptsjon, og har forhindret mange bedrifter fra å implementere AI-teknologi. Ifølge en 2017 Forrester Consulting-rapport, fremhevet 48% av bedriftene høye teknologikostnader som en av de primære grunnene til å ikke implementere AI-drevne løsninger.

Men, nylige utviklinger har vist at AI-treningkostnader raskt minker, og denne trenden forventes å fortsette i fremtiden. Ifølge ARK Invest Big Ideas 2023-rapporten, har treningkostnadene for et stort språkmodell lignende GPT-3-nivå ytelse falt fra 4,6 millioner dollar i 2020 til 450 000 dollar i 2022, en nedgang på 70% per år.

La oss utforske denne trenden av synkende AI-treningkostnader videre og diskutere faktorene som bidrar til denne nedgangen.

Hvordan har AI-treningkostnader endret seg over tid?

Ifølge den nylige ARK Invest 2020-forskning, er kostnaden av å trene dyptlæringsmodeller 50 ganger raskere enn Moore’s Law. I virkeligheten har utgiftene forbundet med å kjøre et AI-inferenssystem dramatisk reduert til nærmest ubetydelige nivåer for mange bruksscenarier.

I tillegg har treningkostnadene sunket ti ganger årlig over de siste årene. For eksempel, i 2017, kostet det å trene en bildeklassifiserer som ResNet-50 på en offentlig skytjeneste rundt 1 000 dollar, men allerede i 2019, hadde kostnaden sunket betydelig til rundt 10 dollar.

Disse funnene stemmer overens med en 2020-rapport fra OpenAI, som fant at mengden beregningskraft som trengs for å trene en AI-modell for å utføre samme oppgave, har sunket med en faktor på to hver 16. måned siden 2012.

I tillegg fremhever ARK-rapporten de synkende AI-treningkostnadene. Rapporten forutser at ved 2030, vil treningkostnaden for en GPT-3-nivåmodell komme ned til 30 dollar, sammenlignet med 450 000 dollar i 2022.

Kostnad å trene GPT-3-nivå ytelse – ARK Invest Big Ideas 2023

Faktorer som bidrar til synkende AI-treningkostnader

Å trene AI-modeller blir billigere og enklere ettersom AI-teknologien fortsetter å forbedre seg, og gjør dem mer tilgjengelige for en bredere rekke bedrifter. Flere faktorer, inkludert maskinvare- og programvarekostnader og skybasert AI, har bidratt til synkende AI-treningkostnader.

La oss utforske disse faktorene nedenfor.

1. Maskinvare

AI krever spesialisert høykvalitets maskinvare for å prosessere store mengder data og beregninger. Organisasjoner som NVIDIA (NVDA ), IBM og Google (GOOGL ) tilbyr GPU-er og TPU-er for å utføre høy-ytelses beregninger. Høye maskinvarekostnader gjør det vanskelig å demokratisere AI på en stor skala.

Men, ettersom teknologien utvikler seg, synker maskinvarekostnadene. Ifølge ARK Invest 2023-rapporten, forutser Wright’s Law at AI-relativ beregningsenhet (RCU) produksjonskostnader, dvs. AI-trening maskinvarekostnader, skal synke med 57% årlig, og føre til en 70% reduksjon i AI-treningkostnader ved 2030, som vist i grafen nedenfor.

AI-trening maskinvarekostnad – ARK Invest Big Ideas 2023

2. Programvare

AI-programvare treningkostnader kan reduseres med 47% årlig gjennom økt effisiens og skalerbarhet. Programvare-rammeverk som TensorFlow og PyTorch gjør det mulig for utviklere å trene komplekse dyptlæringsmodeller på distribuerte systemer med høy ytelse, og spare tid og ressurser.

I tillegg hjelper store forhånds-trente modeller som Inceptionv3 eller ResNet og overføringslæringsteknikker også å redusere kostnadene ved å tillate utviklere å finjustere eksisterende modeller i stedet for å trene dem fra scratch.

AI-programvare treningkostnad – ARK Invest Big Ideas 2023

3. Skybasert kunstig intelligens

Skybasert AI-trening reduserer kostnader ved å tilby skalerbare beregningsressurser på forespørsel. Med betal-per-bruk-modellen, betaler bedrifter bare for sine beregningsressurser. I tillegg tilbyr skytjenesteleverandører forhåndsbygde AI-tjenester som akselerer AI-trening.

For eksempel, er Azure Machine Learning en skybasert tjeneste for prediktiv analyse som tillater rask modellutvikling og implementering. Den tilbyr fleksible beregningsressurser og minne. Brukere kan skalerer opp til tusenvis av GPU-er raskt for å øke deres beregningsytelse. Den tillater brukere å arbeide gjennom deres nettlesere på forhånds-konfigurerte AI-miljøer, og eliminerer oppsett- og installasjons-overhodet.

Virkingen av synkende AI-treningkostnader

De synkende AI-treningkostnadene har betydelige konsekvenser for ulike industrier og felt, og resulterer i forbedret innovasjon og konkurranse.

La oss diskutere noen av dem nedenfor.

1. Mass-adoptsjon av sofistikerte AI-chatbots

AI-chatbots er på fremmarsj på grunn av synkende AI-kostnader. Spesielt etter utviklingen av OpenAI’s ChatGPT og GPT-4 (Generative Pre-trained Transformer), har det vært en merkbar økning i antallet bedrifter som søker å utvikle AI-chatbots med lignende eller bedre evner.

For eksempel, fem dager etter lanseringen i november 2022, samlet ChatGPT 1 million brukere. Selv om det i dag koster rundt 0,01 dollar per forespørsel å kjøre modellen i skala, forutser Wright’s Law at ved 2030, vil chatbot-applikasjoner lignende ChatGPT være deployable på en massiv skala mye billigere (estimert 650 dollar for å kjøre en milliard forespørsler), med potensialet til å prosessere 8,5 milliarder søk per dag, tilsvarende Google Søk.

Kostnad å kjøre AI-inferenser per milliard forespørsler – ARK Invest Big Ideas 2023

2. Økt bruk av generativ AI

De synkende AI-treningkostnadene har ført til en økning i utvikling og implementering av generative AI-teknologier. I 2022, var det en betydelig økning i bruk av generative AI, drevet av introduksjonen av innovative generative AI-verktøy, som DALL-E 2, Meta Make-A-Video og Stable Diffusion. I 2023, har vi allerede sett en banebrytende modell i form av GPT-4.

I tillegg til bilde- og tekstgenerering, hjelper generative AI-utviklere å skrive kode. Programmer som GitHub Copilot kan hjelpe med å fullføre en kodingsoppgave på halv tid.

Tid å fullføre kodingsoppgaver – ARK Invest Big Ideas 2023

3. Bedre bruk av treningdata

Reduserte AI-treningkostnader forventes å tillate bedre bruk av maskinlærings-treningdata. For eksempel, forutser ARK Invest 2023-rapporten at ved 2030, vil kostnaden for å trene en modell med 57 ganger flere parametre og 720 ganger flere token enn GPT-3 (175 milliarder parametre) synke fra 17 milliarder dollar til 600 000 dollar.

Data-tilgjengelighet og -kvalitet vil være den primære begrensningen for å utvikle avanserte maskinlæringsmodeller i denne lavkostnads-verdenen. Likevel, vil trening av modeller utvikle kapasiteten til å prosessere anslagsvis 162 billioner ord eller 216 billioner token.

Fremtiden for AI ser svært lovende ut. For å lære mer om de nyeste trendene og forskningen innen feltet kunstig intelligens, besøk Unite.ai.