AI-utbildningskostnader fortsätter att sjunka

Hög AI-utbildningskostnad har varit ett betydande hinder för AI-antagande, och har förhindrat många företag från att implementera AI-teknik. Enligt en 2017 Forrester Consulting-rapport, betonade 48% av företagen höga teknikkostnader som en av de primära anledningarna till att inte implementera AI-drivna lösningar.

Men nyliga utvecklingar har visat att AI-utbildningskostnader snabbt minskar, och denna trend förväntas fortsätta i framtiden. Enligt ARK Invest Big Ideas 2023-rapporten, har utbildningskostnaderna för en stor språkmodell liknande GPT-3-prestanda minskat från 4,6 miljoner dollar 2020 till 450 000 dollar 2022, en minskning med 70% per år.

Låt oss undersöka denna trend av minskande AI-utbildningskostnader närmare och diskutera de faktorer som bidrar till denna minskning.

Hur har AI-utbildningskostnaderna förändrats över tiden?

Enligt den nyliga ARK Invest 2020-forskning, förbättras kostnaden för att träna djupa inlärningsmodeller 50 gånger snabbare än Moore’s Law. Faktum är att kostnaden för att köra ett AI-inferenssystem har minskat kraftigt till nästan försumbara nivåer för många användningsfall.

Dessutom har utbildningskostnaderna minskat tio gånger om året under de senaste åren. Till exempel kostade det 2017 cirka 1 000 dollar att träna en bildklassificerare som ResNet-50 på en offentlig molntjänst, men 2019 hade kostnaden minskat betydligt till cirka 10 dollar.

Dessa resultat överensstämmer med en 2020-rapport från OpenAI, som fann att den mängd beräkningskraft som behövs för att träna en AI-modell för att utföra samma uppgift har minskat med en faktor på två var 16:e månad sedan 2012.

Dessutom betonar ARK-rapporten de minskande AI-utbildningskostnaderna. Rapporten förutspår att utbildningskostnaden för en GPT-3-modell kommer att minska till 30 dollar år 2030, jämfört med 450 000 dollar 2022.

Kostnad för att träna GPT-3-prestanda – ARK Invest Big Ideas 2023

Faktorer som bidrar till minskande AI-utbildningskostnader

Att träna AI-modeller blir billigare och enklare när AI-tekniken fortsätter att förbättras, vilket gör dem mer tillgängliga för ett bredare utbud av företag. Flera faktorer, inklusive maskinvaru- och programvarukostnader samt molnbaserad AI, har bidragit till de minskande AI-utbildningskostnaderna.

Låt oss undersöka dessa faktorer närmare.

1. Maskinvara

AI kräver specialiserad, högkvalitativ och dyr maskinvara för att bearbeta stora mängder data och beräkningar. Organisationer som NVIDIA, IBM och Google tillhandahåller GPUs och TPUs för att utföra högpresterande beräkningsarbetsbelastningar (HPC). Hög maskinvarukostnad gör det svårt att demokratisera AI på en stor skala.

Men när tekniken utvecklas minskar maskinvarukostnaderna. Enligt ARK Invest 2023-rapporten förutspår Wright’s Law att AI-relaterad beräkningsenhet (RCU) tillverkningskostnad, dvs. AI-utbildningsmaskinvarukostnad, bör minska med 57% per år, vilket leder till en minskning av AI-utbildningskostnaderna med 70% till 2030, som visas i grafen nedan.

AI-utbildningsmaskinvarukostnad – ARK Invest Big Ideas 2023

2. Programvara

AI-programvarukostnader kan sänkas genom 47% per år genom ökad effektivitet och skalbarhet. Programvaruframework som TensorFlow och PyTorch möjliggör för utvecklare att träna komplexa djupa inlärningsmodeller på distribuerade system med hög prestanda, vilket sparar tid och resurser.

Dessutom hjälper stora förtränade modeller som Inceptionv3 eller ResNet och överföringsinlärningstekniker också till att minska kostnaderna genom att tillåta utvecklare att finjustera befintliga modeller istället för att träna dem från scratch.

AI-programvarukostnad – ARK Invest Big Ideas 2023

3. Molnbaserad artificiell intelligens

Molnbaserad AI-utbildning minskar kostnaderna genom att tillhandahålla skalbara beräkningsresurser på begäran. Med betala-per-användning-modellen betalar företagen bara för sina beräkningsresurser. Dessutom erbjuder molntjänstleverantörer förbyggda AI-tjänster som accelererar AI-utbildning.

Till exempel är Azure Machine Learning en molnbaserad tjänst för prediktiv analys som möjliggör snabb modellutveckling och implementering. Den erbjuder flexibla beräkningsresurser och minne. Användare kan skala upp till tusentals GPUs snabbt för att öka sin beräkningsprestanda. Den tillåter användare att arbeta genom sina webbläsare i förkonfigurerade AI-miljöer, vilket eliminerar installations- och konfigurationsarbete.

Effekten av minskande AI-utbildningskostnader

De minskande AI-utbildningskostnaderna har betydande konsekvenser för olika branscher och områden, vilket resulterar i förbättrad innovation och konkurrens.

Låt oss diskutera några av dem nedan.

1. Massantagande av avancerade AI-chattbotar

AI-chattbotar är på uppgång på grund av minskande AI-kostnader. Särskilt efter utvecklingen av OpenAI:s ChatGPT och GPT-4 (Generative Pre-trained Transformer), har det funnits en märkbar ökning av antalet företag som vill utveckla AI-chattbotar med liknande eller bättre funktioner.

Till exempel hade ChatGPT samlat 1 miljon användare fem dagar efter dess release i november 2022. Även om det idag kostar cirka 0,01 dollar att köra modellen i stor skala, förutspår Wright’s Law att chattbotapplikationer liknande ChatGPT kommer att kunna distribueras i stor skala mycket billigare (uppskattat 650 dollar för att köra en miljard frågor), med potential att bearbeta 8,5 miljarder sökningar per dag, motsvarande Google Sök.

Kostnad för att utföra AI-inferenser per miljard frågor – ARK Invest Big Ideas 2023

2. Ökad användning av generativ AI

De minskande AI-utbildningskostnaderna har lett till en ökning av utveckling och implementering av generativa AI-teknologier. 2022 såg vi en betydande ökning av användningen av generativ AI, driven av introduktionen av innovativa generativa AI-verktyg som DALL-E 2, Meta Make-A-Video och Stable Diffusion. 2023 har vi redan sett ett banbrytande modell i form av GPT-4.

Förutom bild- och textgenerering hjälper generativ AI utvecklare att skriva kod. Program som GitHub Copilot kan hjälpa till att slutföra ett kodningsuppdrag på halva tiden.

Tid för att slutföra kodningsuppdrag – ARK Invest Big Ideas 2023

3. Bättre användning av utbildningsdata

Minskade AI-utbildningskostnader förväntas tillåta bättre användning av maskinlärningsutbildningsdata. Till exempel förutspår ARK Invest 2023-rapporten att utbildningskostnaden för en modell med 57 gånger fler parametrar och 720 gånger fler token än GPT-3 (175B parametrar) kommer att minska från 17 miljarder dollar till 600 000 dollar.

Tillgänglighet och kvalitet på data kommer att vara den primära begränsande faktorn för att utveckla avancerade maskinlärningsmodeller i denna lågkostnadsberäkningsvärld. Men utbildningsmodeller kommer att utveckla förmågan att bearbeta uppskattningsvis 162 biljoner ord eller 216 biljoner token.

Framtiden för AI ser mycket lovande ut. För att lära mer om de senaste trenderna och forskningen inom området artificiell intelligens, besök Unite.ai.