DeepMind Introduceser JEST-algoritmen: Gjør AI-modelltrening Raskere, Billigere og Mer Miljøvennlig

Generativ AI gjør enorme fremskritt, og transformerer områder som medisin, utdanning, finans, kunst, idrett osv. Dette fremgangene skyldes hovedsakelig AIens forbedrede evne til å lære fra større datamengder og bygge mer komplekse modeller med milliarder av parametre. Selv om disse fremgangene har drevet betydelige vitenskapelige oppdagelser, skapt nye forretningsmuligheter og ledet til industriell vekst, kommer de til en høy pris, spesielt når det gjelder de finansielle og miljømessige konsekvensene av å trene disse storstilte modellene. Lærealgoritmer trenger betydelig beregningskraft for å trene generativ AI-modeller med store datamengder, noe som fører til høy energiforbruk og en merkbart karbonavtrykk.

Mens tidligere forsøk på å gjøre generativ AI bærekraftig har fokusert på å forbedre hardwareffektiviteten for AI-trening og utvikle mindre modeller med færre parametre, har Google DeepMind tatt en innovativ tilnærming, med mål om å forbedre effektiviteten i den generative AI-treningsalgoritmen. De har banebrent en ny algoritme, JEST (Joint Example Selection), som opererer 13 ganger raskere og er ti ganger mer strømeffektiv enn nåværende teknikker.

I denne artikkelen utforsker vi utfordringene med AI-trening og hvordan JEST takler disse problemene. I tillegg vurderer vi de bredere implikasjonene og fremtidige forskningsretninger for JEST-algoritmen, og ser på dens potensielle innvirkning utover å forbedre hastighet, kostnadseffektivitet og miljøvennlig AI-trening.

Utfordringer med AI-trening: Høye Kostnader og Miljøpåvirkning

Treningsgenerative AI-modeller presenterer betydelige utfordringer på grunn av høye kostnader og betydelig miljøpåvirkning.

• Finansielle Kostnader: Treningsgenerative AI-modeller er en kostbar oppgave. Nylige estimater indikerer at treningskostnadene for en enkelt stor modell, som OpenAIs GPT-3 med 175 milliarder parametre, kan ligge rundt 4,6 millioner dollar. Treningskostnadene for ChatGPT-4 er estimert til å ha kostet OpenAI omtrent 100 millioner dollar. Disse utgiftene skyldes hovedsakelig de massive beregningsressursene, omfattende datautvinning og forlenget trenings tid som kreves.
• Energiforbruk: Generativ AI-treningsprosesser er ekstremt energikrevende. Treningsmodellene involverer tusenvis av GPUer og forbruker flere gigawattimer med energi, noe som gjør prosessen ekstremt energikrevende. Datacenter, som huser beregningsinfrastrukturen for AI-trening, forbruker omtrent 200 terawattimer (TWh) strøm årlig, omtrent 1% av den globale strømforbruket. En rapport fra McKinsey forutsier at datacenters strømforbruk i USA kan øke fra 17 gigawatt (GW) i 2017 til 35 GW i 2030, noe som vil kreve en ytelse ekvivalent til ni Hoover-dammer for å møte denne ekstra etterspørselen.
• Karbonavtrykk: Det høye energiforbruket ved å trene generative AI-modeller bidrar betydelig til drivhusgassutslipp, noe som forverrer klimaendringene. En studie fra University of Massachusetts Amherst fant at treningskostnadene for en stor AI-modell kan utslippe like mye karbondioksid som fem biler gjennom hele deres levetid. Spesifikt kan treningskostnadene for en enkelt AI-modell utslippe mer enn 626 000 pund CO2, noe som tilsvarer karbonavtrykket fra 315 transamerikanske flyreiser.

Disse utfordringene stammer hovedsakelig fra to hovedkilder: avhengigheten av høyanstrengte beregningsmaskiner og ineffektiviteten i nåværende treningsalgoritmer. Mens AI-samfunnet har gjort fremskritt i å utvikle energieffektive maskiner, må det være mer fokus på å skape smartere algoritmer som kan optimalisere dataforbruk og redusere trenings tid. Google’s nylig introduserte JEST-algoritme er banebrytende forskning mot å gjøre treningsalgoritmer smartere. Ved å inteligent velge data som betyr noe, forbedrer JEST betydelig effektiviteten i AI-trening, og åpner vei for mer bærekraftig og kostnadseffektiv treningsgenerative AI-modeller.

Forstå JEST-algoritmen

JEST er en lærealgoritme designet for å trene multimodale generative AI-modeller mer effektivt. For å forstå hvordan JEST fungerer, tenk på AI-trening som å løse et komplekst puslespill, hvor hver del (data punkt) hjelper med å bygge det komplette bildet (AI-modell). JEST fungerer som en erfaren puslespill løser, og gjør prosessen mer effektiv. Like som en puslespill løser plukker ut de viktigste og karakteristiske delene, identifiserer og velger JEST de mest verdifulle data batchene fra datamengden, og sikrer at hver batch spiller en avgjørende rolle i AI-utvikling.

JEST benytter en mindre AI-modell for å evaluere kvaliteten på data batchene. Disse batchene rangeres deretter basert på deres effektivitet i modelltrening. Med disse nøye valgte batcher, setter JEST strategisk sammen dem for å trene modellen. Like som en puslespill løser ordner puslespill deler for å maksimere effektivitet og kohens, forbedrer JEST betydelig treningsprosessen ved å prioritere og velge de mest informative batchene.

En viktig del av JESTs tilnærming er multimodal kontrastiv læring. Denne teknikken fokuserer på å lære korrespondansen mellom ulike datatyper, som tekst og bilder. JEST benytter en multimodal kontrastiv læring-basert metode for å evaluere effektiviteten av en multimodal data prøve i modelltrening. Foruten effektiviteten av enkelt data prøver, evaluerer JEST også kollektiv læring av data prøver for å velge en liten batch av data fra en større “super batch”. Dette hjelper JEST med å velge og prioritere batcher som tilbyr utfordringer og rike læringsmuligheter.

Se Fremover: JEST Ut Over Raskere, Billigere og Mer Miljøvennlig AI-trening

Ettersom vi utforsker fremtidige implikasjoner av JEST (Joint Example Selection), er det tydelig at dens bidrag går utover å bare forbedre AI-trening, kutte kostnader og fremme miljøbærekraft. Her dykker vi ned i hvordan JEST kan fortsette å forbedre og transformere feltet generativ AI:

• Forbedret Modell Ytelse og Nøyaktighet: JESTs innovative tilnærming til data valg og prioritering fører til raskere trenings tid og forbedret modell ytelse. Ved å fokusere på de mest informative data batchene, sikrer JEST at AI-modellene trenes på høykvalitets inndata, og forbedrer deres nøyaktighet og robusthet. Denne fordelen er avgjørende i applikasjoner hvor presisjon og pålitelighet er avgjørende, som medisinske diagnoser, finansielle prognoser og autonome systemer.
• Identifisere og Mildne Forvrengning i Data: AI er utsatt for forvrengde datamengder hvor bestemte grupper eller perspektiver er underrepresentert eller misrepresentert. JESTs data valg tilnærming innebærer å evaluere data batchenes kvalitet og informativitet. Ved å prioritere diverse og representative data prøver, kan JEST hjelpe AI-systemer med å lære fra en mer balansert datamengde, og dermed redusere forvrengninger i treningsdata. For eksempel i helse AI-applikasjoner, kan JEST velge data batcher som omfatter ulike demografiske faktorer, og sikre at medisinske diagnostiske modeller trenes på diverse pasientpopulasjoner. Dette valget reduserer risikoen for forvrengninger som kunne urettferdig påvirke bestemte grupper basert på rase, kjønn eller sosioøkonomisk status.
• Fremme Innovasjon og Forskning: Ved å betydelig redusere de beregningsressursene og tiden som kreves for AI-modelltrening, senker JEST barrierene for inngang for forskere og innovatører. Dette åpner opp for en mer livlig økosystem for AI-utvikling, hvor mindre lag og organisasjoner kan eksperimentere med og deployere avanserte AI-løsninger. I tillegg frigjør effektivitetsgevinstene som tilbys av JEST ressurser som kan omdirigeres mot å utforske nye grenser i AI, som nye arkitekturer, avanserte algoritmer og etiske AI-rammer.
• Fremme Inklusiv AI-utvikling: AI-utvikling bør involvere diverse perspektiver og innputt for å effektivt mildne forvrengninger og etiske bekymringer. JESTs evne til å velge data basert på deres informativ verdi og representativitet oppmuntre inklusive praksiser i datamengde kurasjon. AI-utviklere kan sikre at JEST effektivt takler forvrengninger og etiske overveielser ved å involvere tverrfaglige lag i å definere data valg kriterier, inkludert eksperter i etikk, samfunnsvitenskap og faglige felt.

Bunnen av Saken

DeepMinds introduksjon av JEST-algoritmen representerer et betydelig skritt fremover i generativ AI-trening. Ved å betydelig forbedre treningsprosesser og redusere energiforbruk, tilbyr JEST betydelige kostnadsbesparelser og takler miljømessige bekymringer knyttet til AI-utvikling. Ut over disse fordelen har JEST potensialet til å forbedre modell nøyaktighet, mildne dataforvrengning, fremme innovasjon og oppmuntre inklusiv AI-utvikling. Den pågående forfining og anvendelse av JEST er i ferd med å omdefinere fremtiden for AI, og fremme mer effektive, bærekraftige og etisk ansvarlige AI-løsninger.