Destillerade jättar: Varför vi måste omvärdera utvecklingen av små AI-modeller

Under de senaste åren har jakten på att utveckla allt större AI-modeller fascinerat techindustrin. Dessa modeller, med sina miljarder parametrar, lovar banbrytande framsteg inom olika områden, från naturlig språkbehandling till bildigenkänning. Men denna obevekliga jakt på storlek medför betydande nackdelar i form av höga kostnader och betydande miljöpåverkan. Medan små AI-modeller erbjuder ett lovande alternativ, som ger effektivitet och lägre energiförbrukning, kräver den nuvarande metoden för att bygga dem fortfarande betydande resurser. När vi strävar efter små och mer hållbara AI-modeller är det avgörande att utforska nya strategier som effektivt hanterar dessa begränsningar.

Små AI-modeller: En hållbar lösning för höga kostnader och energibehov

Att utveckla och underhålla stora AI-modeller är en dyrbart företag. Beräkningar tyder på att utbildning av GPT-3 kostar över 4 miljoner dollar, med mer avancerade modeller som potentiellt når höga ensiffriga miljoner. Dessa kostnader, inklusive nödvändig hårdvara, lagring, beräkningskraft och mänskliga resurser, är förhindrande för många organisationer, särskilt mindre företag och forskningsinstitutioner. Denna finansiella barriär skapar en ojämn spelplan, som begränsar tillgången till banbrytande AI-teknik och hämmar innovation.

Dessutom är energibehoven som är förknippade med utbildning av stora AI-modeller förbluffande. Till exempel beräknas utbildning av en stor språkmodell som GPT-3 förbruka nästan 1 300 megawattimmar (MWh) el – motsvarande den årliga elförbrukningen för 130 amerikanska hushåll. Trots denna betydande utbildningskostnad medför varje ChatGPT-förfrågan en inferencekostnad på 2,9 wattimmar. IEA beräknar att den samlade energibehovet för AI, datacenter och kryptovalutor stod för nästan 2 procent av den globala energibehovet. Detta behov förväntas fördubblas till 2026, vilket närmar sig den totala elförbrukningen i Japan. Den höga energiförbrukningen ökar inte bara driftskostnaderna utan bidrar också till koldioxidavtrycket, vilket förvärrar den miljörelaterade krisen. För att sätta detta i perspektiv beräknar forskare att utbildning av en enda stor AI-modell kan släppa ut över 626 000 kilo koldioxid, vilket motsvarar utsläppen från fem bilar under deras livstid.

Mitt i dessa utmaningar erbjuder små AI-modeller en praktisk lösning. De är utformade för att vara mer effektiva och skalbara, och kräver betydligt mindre data och beräkningskraft. Detta minskar de totala kostnaderna och gör avancerad AI-teknik mer tillgänglig för mindre organisationer och forskningsteam. Dessutom har små AI-modeller lägre energibehov, vilket hjälper till att minska driftskostnaderna och deras miljöpåverkan. Genom att använda optimerade algoritmer och metoder som överföringsinlärning kan små AI-modeller uppnå hög prestanda med färre resurser. Detta tillvägagångssätt gör inte bara AI mer överkomligt utan stöder också hållbarhet genom att minimera både energiförbrukning och koldioxidutsläpp.

Hur små AI-modeller byggs idag

Med tanke på fördelarna med små AI-modeller har stora techföretag som Google (GOOGL ), OpenAI och Meta alltmer fokuserat på att utveckla kompakta modeller. Denna förändring har lett till utvecklingen av modeller som Gemini Flash, GPT-4o Mini och Llama 7B. Dessa mindre modeller utvecklas främst med hjälp av en teknik som kallas kunskapsdestillering.

I dess kärna innebär destillering att överföra kunskapen från en stor, komplex modell till en mindre, mer effektiv version. I denna process utbildas en “lärare” – en stor AI-modell – på omfattande datamängder för att lära sig intrikata mönster och nyanser. Denna modell genererar sedan förutsägelser eller “mjuka etiketter” som innehåller dess djupa förståelse.

Den “elev” – den lilla AI-modellen – utbildas för att replikera dessa mjuka etiketter. Genom att härma lärarens beteende fångar eleven upp mycket av dess kunskap och prestanda medan den fungerar med betydligt färre parametrar.

Varför vi måste gå bortom destillering av stora AI-modeller

Medan destillering av stora AI-modeller till mindre, mer hanterbara versioner har blivit en populär metod för att bygga små AI-modeller, finns det flera övertygande skäl till varför denna metod kanske inte är en lösning för alla utmaningar i stor AI-utveckling.

• Fortsatt beroende av stora modeller: Medan destillering skapar mindre, mer effektiva AI-modeller och förbättrar beräknings- och energieffektivitet vid inferenstid, förblir den fortfarande starkt beroende av att utbilda stora AI-modeller initialt. Detta innebär att bygga små AI-modeller fortfarande kräver betydande beräkningsresurser och energi, vilket leder till höga kostnader och miljöpåverkan även före destilleringen. Behovet av att upprepat utbilda stora modeller för destillering flyttar resursbördan snarare än att eliminera den. Även om destillering syftar till att minska storleken och kostnaden för AI-modeller, eliminerar den inte de betydande initiala kostnaderna som är förknippade med utbildning av de stora “lärar” modellerna. Dessa initiala utgifter kan vara särskilt utmanande för mindre organisationer och forskargrupper. Dessutom kan den miljöpåverkan som är förknippad med utbildning av dessa stora modeller negativt påverka vissa av fördelarna med att använda mindre, mer effektiva modeller, eftersom koldioxidavtrycket från den initiala utbildningsfasen förblir betydande.
• Begränsad innovationspotential: Att förlita sig på destillering kan begränsa innovationen genom att fokusera på att replikera befintliga stora modeller snarare än att utforska nya tillvägagångssätt. Detta kan sakta ner utvecklingen av nya AI-arkitekturer eller metoder som kan ge bättre lösningar för specifika problem. Beroendet av stora AI-modeller begränsar utvecklingen av små AI-modeller i händerna på ett fåtal resursrika företag. Som ett resultat är fördelarna med små AI-modeller inte jämnt fördelade, vilket kan hämma bredare teknisk framsteg och begränsa möjligheter för innovation.
• Generaliserings- och anpassningsutmaningar: Små AI-modeller som skapas genom destillering kämpar ofta med ny, osedd data. Detta beror på att destilleringprocessen kanske inte fullständigt fångar den stora modellens förmåga att generalisera. Som ett resultat kan dessa mindre modeller fungera bra på bekanta uppgifter, men de möter ofta svårigheter när de ställs inför nya situationer. Dessutom kräver anpassning av destillerade modeller till nya modaliteter eller datamängder ofta omutbildning eller finjustering av den stora modellen först. Denna iterativa process kan vara komplex och resurskrävande, vilket gör det svårt att snabbt anpassa små AI-modeller till snabbt föränderliga tekniska behov eller nya tillämpningar.

Slutsatsen

Medan destillering av stora AI-modeller till mindre kan tyckas vara en praktisk lösning, förblir den fortfarande beroende av de höga kostnaderna för att utbilda stora modeller. För att verkligen göra framsteg inom små AI-modeller måste vi utforska mer innovativa och hållbara metoder. Detta innebär att skapa modeller som är utformade för specifika tillämpningar, förbättra utbildningsmetoder för att göra dem mer kost- och energieffektiva, och fokusera på miljöhållbarhet. Genom att följa dessa strategier kan vi främja AI-utveckling på ett sätt som är både ansvarsfullt och fördelaktigt för industrin och planeten.