AI-utbildningskostnader fortsätter att sjunka

Höga AI-utbildningskostnader har varit ett betydande hinder för AI-användning, och har förhindrat många företag från att implementera AI-teknik. Enligt en 2017-rapport från Forrester Consulting angav 48% av företagen höga teknikkostnader som en av de främsta anledningarna till att de inte implementerade AI-drivna lösningar.

Men nyliga utvecklingar har visat att AI-utbildningskostnader sjunker snabbt, och denna trend förväntas fortsätta i framtiden. Enligt ARK Invest Big Ideas 2023-rapport har utbildningskostnaderna för en stor språkmodell liknande GPT-3 sjunkit från 4,6 miljoner dollar 2020 till 450 000 dollar 2022, en minskning med 70% per år.

Låt oss undersöka denna trend av sjunkande AI-utbildningskostnader närmare och diskutera de faktorer som bidrar till denna minskning.

Hur har AI-utbildningskostnader förändrats över tiden?

Enligt ARK Invest 2020-forskning förbättras kostnaden för att träna djupa inlärningsmodeller 50 gånger snabbare än Moore’s Law. Faktum är att kostnaden för att köra ett AI-inferenssystem har minskat kraftigt till nästan försumbara nivåer för många användningsfall.

Dessutom har utbildningskostnaderna minskat tio gånger om året under de senaste åren. Till exempel kostade det att träna en bildklassificerare som ResNet-50 på en offentlig molntjänst cirka 1 000 dollar 2017, men 2019 hade kostnaden minskat betydligt till cirka 10 dollar.

Dessa resultat överensstämmer med en 2020-rapport från OpenAI, som fann att den mängd beräkningskraft som behövs för att träna en AI-modell för att utföra samma uppgift har minskat med en faktor på två var 16:e månad sedan 2012.

Dessutom betonar ARK-rapporten de sjunkande AI-utbildningskostnaderna. Rapporten förutspår att utbildningskostnaden för en GPT-3-modell kommer att sjunka till 30 dollar 2030, jämfört med 450 000 dollar 2022.

Kostnad för att träna GPT-3-modell – ARK Invest Big Ideas 2023

Faktorer som bidrar till sjunkande AI-utbildningskostnader

Att träna AI-modeller blir billigare och enklare allteftersom AI-tekniken förbättras, vilket gör dem mer tillgängliga för ett bredare urval av företag. Flera faktorer, inklusive hårdvaru- och programvarukostnader samt molnbaserad AI, har bidragit till de sjunkande AI-utbildningskostnaderna.

Låt oss undersöka dessa faktorer närmare.

1. Hårdvara

AI kräver specialiserad och dyra hårdvara för att bearbeta stora mängder data och beräkningar. Företag som NVIDIA (NVDA ), IBM och Google (GOOGL ) tillhandahåller GPU:er och TPU:er för att utföra högpresterande beräkningar. De höga hårdvarukostnaderna gör det svårt att demokratisera AI på en stor skala.

Men allteftersom tekniken utvecklas minskar hårdvarukostnaderna. Enligt ARK Invest 2023-rapport förutspår Wright’s Law att AI-relaterade beräkningsenhetskostnader, dvs. AI-utbildningshårdvarukostnader, bör minska med 57% per år, vilket leder till en 70% minskning av AI-utbildningskostnaderna 2030, som visas i grafen nedan.

AI-utbildningshårdvarukostnad – ARK Invest Big Ideas 2023

2. Programvara

AI-programvarukostnader kan minskas med 47% per år genom ökad effektivitet och skalbarhet. Programvaruframework som TensorFlow och PyTorch möjliggör för utvecklare att träna komplexa djupa inlärningsmodeller på distribuerade system med hög prestanda, vilket sparar tid och resurser.

Dessutom hjälper stora förtränade modeller som Inceptionv3 eller ResNet och överföringsinlärningstekniker också till att minska kostnaderna genom att tillåta utvecklare att finjustera befintliga modeller i stället för att träna dem från scratch.

AI-programvarukostnad – ARK Invest Big Ideas 2023

3. Molnbaserad artificiell intelligens

Molnbaserad AI-utbildning minskar kostnaderna genom att tillhandahålla skalbara beräkningsresurser på begäran. Med betal-per-användningsmodellen betalar företagen bara för de beräkningsresurser de använder. Dessutom erbjuder molntjänstleverantörer förbyggda AI-tjänster som accelererar AI-utbildning.

Till exempel är Azure Machine Learning en molnbaserad tjänst för prediktiv analys som möjliggör snabb modellutveckling och implementering. Den erbjuder flexibla beräkningsresurser och minne. Användare kan skala upp till tusentals GPU:er snabbt för att öka sin beräkningsprestanda. Den tillåter användare att arbeta genom sina webbläsare i förkonfigurerade AI-miljöer, vilket eliminerar installations- och konfigurationsarbete.

Effekten av sjunkande AI-utbildningskostnader

De minskande AI-utbildningskostnaderna har betydande konsekvenser för olika branscher och områden, vilket resulterar i förbättrad innovation och konkurrens.

Låt oss diskutera några av dem nedan.

1. Massanvändning av avancerade AI-chattbotar

AI-chattbotar är på uppgång på grund av de sjunkande AI-kostnaderna. Särskilt efter utvecklingen av OpenAI:s ChatGPT och GPT-4 (Generative Pre-trained Transformer) har det skett en märkbar ökning av antalet företag som vill utveckla AI-chattbotar med liknande eller bättre förmågor.

Till exempel hade ChatGPT samlat 1 miljon användare fem dagar efter dess lansering i november 2022. Även om det idag kostar cirka 0,01 dollar per fråga att köra modellen i stor skala, förutspår Wright’s Law att chattbotapplikationer liknande ChatGPT kommer att kunna distribueras i stor skala mycket billigare (uppskattat 650 dollar för att köra en miljard frågor) med potentialen att bearbeta 8,5 miljarder sökningar per dag, vilket motsvarar Google Search.

Kostnad för att utföra AI-inferenser per miljard frågor – ARK Invest Big Ideas 2023

2. Ökad användning av generativ AI

De sjunkande AI-utbildningskostnaderna har lett till en ökning av utveckling och implementering av generativa AI-tekniker. 2022 såg vi en betydande ökning av användningen av generativ AI, driven av introduktionen av innovativa generativa AI-verktyg som DALL-E 2, Meta Make-A-Video och Stable Diffusion. 2023 har vi redan sett ett banbrytande modell i form av GPT-4.

Förutom bild- och textgenerering hjälper generativ AI utvecklare att skriva kod. Program som GitHub Copilot kan hjälpa till att slutföra ett kodningsuppdrag på halva tiden.

Tid för att slutföra kodningsuppdrag – ARK Invest Big Ideas 2023

3. Bättre användning av utbildningsdata

De minskade AI-utbildningskostnaderna förväntas tillåta en bättre användning av maskinlärningsutbildningsdata. Till exempel förutspår ARK Invest 2023-rapport att utbildningskostnaden för en modell med 57 gånger fler parametrar och 720 gånger fler token än GPT-3 (175 miljarder parametrar) kommer att minska från 17 miljarder dollar till 600 000 dollar 2030.

Data tillgänglighet och kvalitet kommer att vara den primära begränsande faktorn för att utveckla avancerade maskinlärningsmodeller i denna lågkostnadsberäkningsvärld. Men utbildningsmodeller kommer att utveckla förmågan att bearbeta uppskattningsvis 162 biljoner ord eller 216 biljoner token.

Framtiden för AI ser mycket lovande ut. För att lära mer om de senaste trenderna och forskningen inom artificiell intelligens, besök Unite.ai.