Destillerte giganter: Hvorfor vi må omvurdere utviklingen av liten AI

I de senere år har kappløpet om å utvikle stadig større AI-modeller dominert teknologibransjen. Disse modellene, med milliarder av parametre, lover banebrytende fremgang i ulike felt, fra naturlig språkbehandling til bildegenkjenning. Imidlertid kommer denne uavbrutte jakten på størrelse med betydelige ulemper i form av høye kostnader og betydelig miljøpåvirkning. Mens liten AI tilbyr en løfterik alternativ, som gir effisiens og lavere energiforbruk, krever den nåværende tilnærmingen til å bygge den fortsatt betydelige ressurser. Mens vi søker etter liten og mer bærekraftig AI, er det avgjørende å utforske nye strategier som håndterer disse begrensningene effektivt.

Liten AI: En bærekraftig løsning på høye kostnader og energibehov

Utvikling og vedlikehold av store AI-modeller er en kostbar oppgave. Estimater antyder at trening av GPT-3 koster over 4 millioner dollar, med mer avanserte modeller som potensielt kan nå høye enkelt-sifrede millioner. Disse kostnadene, inkludert nødvendig maskinvare, lagring, beregningskraft og menneskelige ressurser, er hemmende for mange organisasjoner, spesielt mindre bedrifter og forskningsinstitusjoner. Denne finansielle barrieren skaper en ujevn spillplass, begrenser tilgangen til banebrytende AI-teknologi og hindrer innovasjon.

I tillegg er energibehovet forbundet med trening av store AI-modeller slående. For eksempel er trening av et stort språkmodell som GPT-3 estimert å forbruke nesten 1 300 megawattimer (MWh) elektrisitet – tilsvarende den årlige strømforbruket til 130 amerikanske hjem. Til tross for denne betydelige treningskosten, incerrer hver ChatGPT-forespørsel en inferencekostnad på 2,9 wattimer. IEA estimerer at den samlede energibehovet til AI, datacentre og kryptokurrency utgjorde nesten 2 prosent av det globale energibehovet. Dette behovet forventes å dobles innen 2026, nærmer seg den totale strømforbruket i Japan. Det høye energiforbruket øker ikke bare driftskostnadene, men bidrar også til karbonavtrykket, forverrer miljøkrisen. For å sette det i perspektiv, estimerer forskere at trening av ett enkelt stort AI-modell kan utslippe over 626 000 pund CO2, tilsvarende utslippene fra fem biler over deres levetid.

Midt i disse utfordringene tilbyr liten AI en praktisk løsning. Den er designet for å være mer effektiv og skalerbar, og krever mye mindre data og beregningskraft. Dette reduserer de totale kostnadene og gjør avansert AI-teknologi mer tilgjengelig for mindre organisasjoner og forskningsteam. I tillegg har liten AI-modeller lavere energibehov, som hjelper til å kutte driftskostnadene og reduserer deres miljøpåvirkning. Ved å bruke optimerte algoritmer og metoder som overføringslæring, kan liten AI oppnå høy ytelse med færre ressurser. Denne tilnærmingen gjør ikke bare AI mer tilgjengelig, men støtter også bærekraft ved å minimere både energiforbruk og karbonutslipp.

Hvordan liten AI-modeller bygges i dag

Ved å erkjenne fordelen med liten AI, har store teknologiselskaper som Google (GOOGL ), OpenAI og Meta økt fokus på å utvikle kompakte modeller. Denne skiftet har ført til utviklingen av modeller som Gemini Flash, GPT-4o Mini og Llama 7B. Disse mindre modellene utvikles hovedsakelig ved hjelp av en teknikk kalt kunnskapsdestillering.

I kjernen innebærer destillering overføring av kunnskapen fra en stor, kompleks modell til en mindre, mer effektiv versjon. I denne prosessen blir en “lærer”-modell – en stor AI-modell – trent på omfattende datasett for å lære intrikate mønster og nyanser. Denne modellen genererer så forutsagn eller “myke etiketter” som innkapsler dens dype forståelse.

Den “elev”-modellen, som er en liten AI-modell, blir trent for å replikere disse myke etikettene. Ved å etterligne lærerens atferd, fanger eleven modellen mye av dens kunnskap og ytelse, samtidig som den opererer med betydelig færre parametre.

Hvorfor vi må gå utenfor å destillere stor AI

Selv om destillering av stor AI til mindre, mer håndterbare versjoner har blitt en populær tilnærming for å bygge liten AI, finnes det flere overbevisende grunner til at denne tilnærmingen kanskje ikke er en løsning for alle utfordringer i stor AI-utvikling.

• Fortsatt avhengighet av store modeller: Mens destillering skaper mindre, mer effektive AI-modeller og forbedrer beregnings- og energieffisiens ved inferens tid, avhenger den fortsatt sterkt av å trene store AI-modeller initialt. Dette betyr at bygging av liten AI-modeller fortsatt krever betydelige beregningsressurser og energi, noe som fører til høye kostnader og miljøpåvirkning, selv før destillering skjer. Behovet for å trene store modeller for destillering flytter ressursbelastningen snarere enn å eliminere den. Selv om destillering sikter mot å redusere størrelsen og kostnadene til AI-modeller, eliminerer den ikke de betydelige initielle kostnadene forbundet med å trene de store “lærer”-modellene. Disse initielle utgiftene kan være særlig utfordrende for mindre organisasjoner og forskningsgrupper. I tillegg kan miljøpåvirkningen av å trene disse store modellene negere noen av fordelene med å bruke mindre, mer effektive modeller, ettersom karbonavtrykket fra den initielle treningsfasen fortsatt er betydelig.
• Begrenset innovasjonsområde: Avhengighet av destillering kan begrense innovasjon ved å fokusere på å replikere eksisterende store modeller snarere enn å utforske nye tilnærminger. Dette kan sakke ned utviklingen av nye AI-arkitekturer eller metoder som kunne gi bedre løsninger for bestemte problemer. Avhengigheten av stor AI begrenser liten AI-utvikling i hendene på noen ressursrike selskaper. Som resultat blir fordelene med liten AI ikke jevnt fordelt, noe som kan hindre videre teknologisk fremgang og begrense muligheter for innovasjon.
• Generaliserings- og tilpasningsutfordringer: Liten AI-modeller skapt gjennom destillering har ofte vanskeligheter med nye, uante data. Dette skjer fordi destilleringprosessen kanskje ikke fullt ut fanger den større modellens evne til å generalisere. Som resultat kan disse mindre modellene fungere godt på kjente oppgaver, men møter ofte vanskeligheter når de konfronteres med nye situasjoner. I tillegg kan tilpasning av destillerte modeller til nye modaliteter eller datasett ofte involvere å trene eller finjustere den større modellen først. Denne iterative prosessen kan være kompleks og ressurskrevende, noe som gjør det vanskelig å raskt tilpasse liten AI-modeller til raskt utviklende tekniske behov eller nye anvendelser.

Det endelige punktet

Selv om destillering av store AI-modeller til mindre kan synes som en praktisk løsning, avhenger den fortsatt av de høye kostnadene forbundet med å trene store modeller. For å virkelig fremme liten AI, må vi utforske mer innovative og bærekraftige praksiser. Dette innebærer å skape modeller designet for bestemte anvendelser, å forbedre treningsmetoder for å være mer kost- og energieffektive, og å fokusere på miljøbærekraft. Ved å følge disse strategiene, kan vi fremme AI-utvikling på en måte som er både ansvarlig og fordelaktig for industri og planeten.