AI-utbildningskostnaderna fortsätter att sjunka

Höga AI-utbildningskostnader har varit ett betydande hinder för AI-antagande, vilket hindrat många företag från att implementera AI-teknik. Enligt a 2017 Forrester Consulting Report48 % av företagen framhöll höga teknologikostnader som en av de främsta anledningarna till att inte implementera AI-drivna lösningar.

Den senaste tidens utveckling har dock visat att AI-utbildningskostnaderna snabbt minskar, och denna trend förväntas fortsätta i framtiden. Enligt ARK Invest Big Ideas 2023-rapport, utbildningskostnaderna för en stor språkmodell liknande prestanda på GPT-3-nivå har rasat från 4.6 miljoner USD 2020 till 450,000 2022 USD 70, en minskning med XNUMX % per år.

Låt oss utforska denna trend med sjunkande AI-utbildningskostnader ytterligare och diskutera faktorerna som bidrar till denna nedgång.

Hur har kostnaderna för AI-utbildning förändrats över tiden?

Enligt det senaste ARK Invest 2020 forskning, förbättras kostnaden för att träna modeller för djupinlärning 50 gånger snabbare än Moores lag. Faktum är att kostnaderna för att köra ett AI-inferenssystem drastiskt har minskat till nästan försumbara nivåer för många användningsfall.

Dessutom har utbildningskostnaderna minskat tio gånger per år under de senaste åren. Till exempel, 2017, kostade utbildning av en bildklassificerare som ResNet-50 i ett offentligt moln cirka 1,000 2019 USD, men 10 hade kostnaden minskat avsevärt till cirka XNUMX USD.

Dessa fynd överensstämmer med a 2020 rapport av OpenAI, som fann att mängden datorkraft som behövs för att träna en AI-modell för att utföra samma uppgift har minskat med en faktor två var 16:e månad sedan 2012.

Dessutom ARK rapport belyser de sjunkande AI-utbildningskostnaderna. Rapporten förutspår att 2030 kommer utbildningskostnaden för en modell på GPT-3-nivå att sjunka till 30 USD, jämfört med 450,000 2022 USD XNUMX.

Faktorer som bidrar till sjunkande AI-utbildningskostnader

Att träna AI-modeller blir billigare och enklare när AI-tekniken fortsätter att förbättras, vilket gör dem mer tillgängliga för ett större antal företag. Flera faktorer, inklusive hård- och mjukvarukostnader och molnbaserad AI, har bidragit till sjunkande AI-utbildningskostnader.

Låt oss utforska dessa faktorer nedan.

1. Hårdvara

AI kräver specialiserad högkvalitativ kostsam hårdvara för att bearbeta stora mängder data och beräkningar. Organisationer som NVIDIA, IBM och Google tillhandahåller GPUs och TPU: er för att utföra högpresterande beräkningar (HPC) arbetsbelastningar. Höga hårdvarukostnader gör det svårt att demokratisera AI i stor skala.

Men i takt med att tekniken går framåt, minskar hårdvarukostnaderna. Enligt ARK Invest 2023-rapport, förutspår Wrights lag att produktionskostnaderna för AI-relative compute unit (RCU), dvs. AI-träningshårdvarukostnaderna, bör minska med 57 % årligen, vilket leder till en 70 % minskning av AI-utbildningskostnaderna till 2030, som visas i diagrammet nedan.

2. Programvara

AI-programvaruutbildningskostnader kan sänkas med 47% årligen genom ökad effektivitet och skalbarhet. Programvara ramar som TensorFlow och PyTorch gör det möjligt för utvecklare att träna komplexa modeller för djupinlärning på distribuerade system med hög prestanda, vilket sparar tid och resurser.

Dessutom stora förtränade modeller som Inceptionv3 or ResNet och överföringstekniker hjälper också till att minska kostnaderna genom att tillåta utvecklare att finjustera befintliga modeller istället för att träna dem från grunden.

3. Molnbaserad artificiell intelligens

Molnbaserad AI-utbildning minskar kostnaderna genom att tillhandahålla skalbara datorresurser på begäran. Med pay-as-you-go-modellen betalar företag bara för sina datorresurser. Molnleverantörer erbjuder också förbyggda AI-tjänster som påskyndar AI-träning.

Till exempel, Azure maskininlärning är en molnbaserad tjänst för prediktiv analys som möjliggör snabb modellutveckling och implementering. Den erbjuder flexibla datorresurser och minne. Användare kan snabbt skala upp till tusentals GPU:er för att öka sin datorprestanda. Det tillåter användare att arbeta genom sina webbläsare på förkonfigurerade AI-miljöer, vilket eliminerar installations- och installationskostnader.

Effekten av sjunkande AI-utbildningskostnader

De minskande kostnaderna för AI-utbildning har betydande konsekvenser för olika branscher och områden, vilket resulterar i förbättrad innovation och konkurrenskraft.

Låt oss diskutera några av dem nedan.

1. Massadoption av sofistikerade AI Chatbots

AI-chatbotar är på uppgång på grund av sjunkande AI-kostnader. Speciellt efter utvecklingen av OpenAI:s ChatGPT och GPT-4 (Generative Pre-trained Transformer), det har skett en märkbar ökning av antalet företag som vill utveckla AI-chatbots med liknande eller bättre kapacitet.

Till exempel, fem dagar efter lanseringen i november 2022, samlade ChatGPT 1 miljon användare. Även om kostnaden för att köra modellen i stor skala idag är cirka 01 USD per fråga, förutspår Wrights lag att 2030 kommer chatbot-applikationer som liknar ChatGPT att kunna distribueras i massiv skala mycket billigare (uppskattningsvis 650 USD för att köra en miljard frågor). med potential att bearbeta 8.5 miljarder sökningar per dag, motsvarande Google Sök.

2. Ökad användning av generativ AI

De sjunkande kostnaderna för AI-utbildning har lett till en ökning av utvecklingen och implementeringen av generativ AI-teknik. År 2022 skedde en betydande ökning av användningen av generativ AI, driven av introduktionen av innovativa generativa AI-verktyg, såsom DALL-E 2, Meta Make-A-Video och Stable Diffusion. 2023 har vi redan sett en banbrytande modell i form av GPT-4.

Förutom bild- och textgenerering hjälper generativ AI utvecklare att skriva kod. Program som GitHub Copilot kan hjälpa till att slutföra en kodningsuppgift på halva tiden.

3. Bättre användning av träningsdata

Minskade AI-utbildningskostnader förväntas möjliggöra bättre utnyttjande av träningsdata för maskininlärning. Till exempel, ARK Invest 2023-rapport föreslår att 2030 beräknas kostnaden för att träna en modell med 57 gånger fler parametrar och 720 gånger fler tokens än GPT-3 (175B parametrar) minska från 17 miljarder USD till 600,000 XNUMX USD.

Datatillgänglighet och kvalitet kommer att vara den primära begränsande faktorn för att utveckla avancerade maskininlärningsmodeller i denna lågkostnadsdatorvärld. Men träningsmodeller skulle utveckla kapaciteten att bearbeta uppskattningsvis 162 biljoner ord eller 216 biljoner tokens.

Framtiden för AI ser mycket lovande ut. För att lära dig mer om de senaste trenderna och forskningen inom området artificiell intelligens, besök Unite.ai.