DeepMind Introducerer JEST Algoritmen: Gjør AI Modell Trening Raskere, Billigere, Grønnere

Generativ AI gjør enorme fremskritt, og transformerer områder som medisin, utdanning, finans, kunst, sport osv. Dette fremgangene kommer hovedsakelig fra AI’s forbedrede evne til å lære fra større datasett og bygge mer komplekse modeller med milliarder av parametre. Selv om disse fremgangene har drevet betydelige vitenskapelige oppdagelser, skapt nye forretningsmuligheter og ledet til industriell vekst, kommer de til en høy pris, spesielt når det gjelder de finansielle og miljømessige konsekvensene av å trene disse store modellene. Lærealgoritmene trenger betydelig beregningskraft for å trene generative AI-modeller med store datasett, noe som fører til høyt energiforbruk og en merkbart karbonavtrykk.

Mens tidligere forsøk på å gjøre generativ AI bærekraftig har fokusert på å forbedre hardwareffektiviteten for AI-trening og utvikle mindre modeller med færre parametre, har Google DeepMind tatt en innovativ tilnærming, med mål om å forbedre effektiviteten til generativ AI-treningsalgoritmen. De har banebrytende forskning på en ny algoritme, JEST (Joint Example Selection), som opererer 13 ganger raskere og er ti ganger mer strømeffektiv enn nåværende teknikk.

I denne artikkelen utforsker vi utfordringene med AI-trening og hvordan JEST takler disse problemene. I tillegg vurderer vi de bredere implikasjonene og fremtidige forskningsretninger for JEST-algoritmen, og ser på dens potensielle innvirkning utover å forbedre hastighet, kostnadseffektivitet og miljøvennligheit i AI-trening.

Utfordringene med AI-trening: Høye Kostnader og Miljøpåvirkning

Treningsgenerative AI-modeller presenterer betydelige utfordringer på grunn av høye kostnader og betydelig miljøpåvirkning.

• Finansielle Kostnader: Treningsgenerative AI-modeller er en kostbar foretak. Nylige estimater indikerer at treningsen enkelt stor modell, som OpenAI’s GPT-3 med 175 milliarder parametre, kan koste omtrent 4,6 millioner dollar. Trenings ChatGPT-4 er estimert å ha kostet OpenAI omtrent 100 millioner dollar. Disse utgiftene skyldes hovedsakelig de massive beregningsressursene, omfattende dataprosessering og forlenget trenings tid som kreves.
• Energiforbruk: Generativ AI-treningsprosesser er ekstremt energiintensive. Treningsdisse modellene involverer tusenvis av GPU-er og forbruker flere gigawattimer med energi, noe som gjør prosessen ekstremt energiintensiv. Datacenter, som huset beregningsinfrastrukturen for AI-trening, forbruker omtrent 200 terawattimer (TWh) med elektrisitet årlig, omtrent 1% av verdens elektrisitetsbehov. En McKinsey-rapport forutsier at datacentersforbruk i USA kan øke fra 17 gigawatt (GW) i 2017 til 35 GW i 2030, noe som krever ytelsen tilsvarende ni Hoover-dammer for å møte denne ekstra etterspørselen.
• Karbonavtrykk: Det høye energiforbruket til treningsgenerative AI-modeller bidrar betydelig til drivhusgassutslipp, noe som forverrer klimaendringene. En studie fra University of Massachusetts Amherst fant at treningsen stor AI-modell kan utslippe like mye karbondioksid som fem biler over deres levetid. Spesifikt kan treningsen enkelt AI-modell utslippe mer enn 626 000 pund med CO2, tilsvarende karbonavtrykket til 315 trans-Amerika flyreiser.