DeepMind Introducerer JEST Algoritmen: Gør AI-Modeltræning Faste, Billigere, Grønnere

Generativ AI er i gang med at gøre fantastiske fremskridt og forvandler områder som medicin, uddannelse, finans, kunst, sport osv. Disse fremskridt skyldes hovedsageligt AI’s forbedrede evne til at lære fra større datasæt og bygge mere komplekse modeller med milliarder af parametre. Selvom disse fremskridt har ført til betydelige videnskabelige opdagelser, skabt nye forretningsmuligheder og ført til industriel vækst, kommer de til en høj pris, især når det kommer til de finansielle og miljømæssige omkostninger ved at træne disse store modeller. Læringsalgoritmernes behov for betydelig beregningskraft til at træne generative AI-modeller med store datasæt fører til høj energiforbrug og en betydelig carbonaftryk.

mens tidligere bestræbelser på at gøre generativ AI bæredygtig har fokuseret på at forbedre hardwareffektiviteten for AI-træning og udvikle mindre modeller med færre parametre, har Google DeepMind taget en innovativ tilgang, der sigter mod at forbedre effektiviteten af den generative AI-træningsalgoritme. De har banebrydende forskning med en ny algoritme, JEST (Joint Example Selection), som fungerer 13 gange hurtigere og er 10 gange mere strømeffektiv end nuværende teknikker.

I denne artikel udforsker vi udfordringerne ved AI-træning og hvordan JEST tackler disse problemer. Derudover overvejer vi de bredere implikationer og fremtidige forskningsretninger for JEST-algoritmen, og ser på dens potentielle indvirkning ud over at forbedre hastighed, omkostningseffektivitet og miljøvenlighed i AI-træning.

Udfordringer ved AI-Træning: Høje Omkostninger og Miljøpåvirkning

Træning af generative AI-modeller stiller betydelige udfordringer på grund af høje omkostninger og betydelig miljøpåvirkning.

• Finansielle Omkostninger: Træning af generative AI-modeller er en kostbar aktivitet. Nye estimeringer viser, at træning af en enkelt stor model, som OpenAI’s GPT-3 med 175 milliarder parametre, kan koste omkring 4,6 millioner dollars. Træning af ChatGPT-4 estimeres at have kostet OpenAI omkring 100 millioner dollars. Disse udgifter skyldes hovedsageligt de massive beregningsressourcer, omfattende dataforarbejdning og forlængede træningstider, der kræves.
• Energiforbrug: Generative AI-træningsprocesser er ekstremt energikrævende. Træning af disse modeller involverer tusinder af GPU’er og forbruger multiple gigawattimer af energi, hvilket gør processen ekstremt energikrævende. Datacentre, der huser beregningsinfrastrukturen for AI-træning, forbruger omkring 200 terawattimer (TWh) af elektricitet årligt, hvilket svarer til 1% af den globale elektricitetsforbrug. En McKinsey-rapport forudser, at datacenterets strømforbrug i USA kan stige fra 17 gigawatt (GW) i 2017 til 35 GW i 2030, hvilket kræver en udbygning svarende til ni Hoover-dæmninger for at imødekomme denne ekstra forbrug.
• Carbonaftryk: Det høje energiforbrug ved træning af generative AI-modeller bidrager betydeligt til drivhusgasemissioner og forværre klimaforandringer. En studie fra University of Massachusetts Amherst fandt, at træning af en stor AI-model kan udspy så meget carbon dioxide som fem biler over deres levetid. Specifikt kan træning af en enkelt AI-model udspy mere end 626.000 pounds af CO2, svarende til carbonaftrykket fra 315 transamerikanske flyvninger.

Disse udfordringer stammer hovedsageligt fra to hovedkilder: afhængigheden af højenergiforbrugende beregningshardware og ineffektiviteten af nuværende træningsalgoritmer. Selvom AI-samfundet har gjort fremskridt i udviklingen af energi-effektiv hardware, skal der være mere fokus på at skabe smartere algoritmer, der kan optimere dataanvendelse og reducere træningstider. Google’s nyligt introducerede JEST-algoritme er banebrydende forskning i retning af at gøre træningsalgoritmer smartere. Ved at intelligentt vælge den data, der er vigtig, forbedrer JEST betydeligt effektiviteten af AI-træning og baner vejen for mere bæredygtig og omkostningseffektiv træning af generative AI-modeller.

Forståelse af JEST-Algoritmen

JEST er en læringsalgoritme designet til at træne multimodale generative AI-modeller mere effektivt. For at forstå, hvordan JEST fungerer, kan man tænke på AI-træning som at løse et komplekst puslespil, hvor hvert stykke (data punkt) hjælper med at bygge det komplette billede (AI-model). JEST fungerer som en erfaren puslespils-løser, der gør processen mere effektiv. Ligesom en puslespils-løser vælger de vigtigste og mest karakteristiske stykker, vælger JEST de mest værdifulde data-batch fra datasættet og sikrer, at hver batch spiller en afgørende rolle i AI-udvikling.

JEST anvender en mindre AI-model til at evaluere kvaliteten af data-batch. Disse batch er derefter rangeret efter deres effektivitet i modeltræning. Med disse omhyggeligt valgte batch samler JEST strategisk dem til at træne modellen. Ligesom en puslespils-løser arrangerer puslespilsstykker for at maksimere effektivitet og sammenhæng, forbedrer JEST betydeligt træningsprocessen ved at prioritere og vælge de mest informative batch.

En vigtig del af JEST’s tilgang er multimodal kontrastiv læring. Denne teknik fokuserer på at lære korrespondansen mellem forskellige datatyper, som tekst og billeder. JEST anvender en multimodal kontrastiv læring-baseret metode til at evaluere effektiviteten af en multimodal data-prøve i træning af modellen. Ud over effektiviteten af enkelt data-prøver evaluerer JEST også den kollektive lærbarhed af data-prøver for at vælge en lille batch af data fra en større “super batch”. Denne proces hjælper JEST med at vælge og prioritere batch, der tilbyder udfordringer og rig læringsmuligheder.

Fremadrettet: JEST Ud Over Faste, Billigere, Grønnere AI-Træning

Da vi udforsker de fremtidige implikationer af JEST (Joint Example Selection), er det tydeligt, at dens bidrag går ud over blot at accelerere AI-træning, reducere omkostninger og fremme miljømæssig bæredygtighed. Her dykker vi ned i, hvordan JEST kan fortsætte med at forbedre og transformere feltet generativ AI:

• Forbedret Modelpræcision og Præcision: JEST’s innovative tilgang til data-selektion og prioritering fører til hurtigere træningstider og forbedret modelpræcision. Ved at fokusere på de mest informative data-batch sikrer JEST, at AI-modellerne trænes på højkvalitetsinddata, hvilket forbedrer deres præcision og robusthed. Denne fordel er afgørende i anvendelser, hvor præcision og pålidelighed er afgørende, såsom medicinsk diagnosticering, finansielle prognoser og autonome systemer.
• Identificering og Afhjælpning af Forudindtagethed i Data: AI er udsat for forudindtagne datasæt, hvor bestemte grupper eller perspektiver er underrepræsenterede eller misrepræsenterede. JEST’s data-selektions-tilgang indebærer en vurdering af data-batch’ kvalitet og informativitet. Ved at prioritere diverse og repræsentative data-prøver kan JEST hjælpe AI-systemer med at lære fra et mere balanceret datasæt, hvilket reducerer forudindtagethed i træningsdata. For eksempel kan JEST i sundheds- AI-anvendelser vælge data-batch, der omfatter forskellige demografiske faktorer, hvilket sikrer, at medicinske diagnostiske modeller trænes på diverse patientpopulationer. Denne selektion reducerer risikoen for forudindtagethed, der kunne have en ubalance på bestemte grupper baseret på race, køn eller socioøkonomisk status.
• Fremme af Innovation og Forskning: Ved at reducere de beregningsressourcer og tider, der kræves til AI-modeltræning, sænker JEST barriererne for forskere og innovatører. Dette åbner op for en mere livlig økosystem for AI-udvikling, hvor mindre hold og organisationer kan eksperimentere med og implementere avancerede AI-løsninger. Desuden frigør effektivitetsgevinsterne fra JEST ressourcer, der kan omdirigeres mod at udforske nye grænser i AI, såsom nye arkitekturer, avancerede algoritmer og etiske AI-rammer.
• Fremme af Inklusiv AI-Udvikling: AI-udvikling bør involvere diverse perspektiver og input for at effektivt afhjælpe forudindtagethed og etiske bekymringer. JEST’s evne til at vælge data baseret på deres informationsværdi og repræsentativitet opmuntrer til inklusive praksisser i datasætskurering. AI-udviklere kan sikre, at JEST effektivt afhjælper forudindtagethed og etiske overvejelser ved at involvere tværfaglige hold i definitionen af data-selektionskriterier, herunder eksperter i etik, samfundsvidenskab og fag-specifikke områder. Denne samarbejdende tilgang fremmer en mere inklusiv og ansvarlig udvikling af AI-teknologier.

Bottom Line

DeepMind’s introduktion af JEST-algoritmen repræsenterer et betydeligt spring fremad i generativ AI-træning. Ved at accelerere træningsprocesser og reducere energiforbrug tilbyder JEST betydelige omkostningsbesparelser og adresserer miljømæssige bekymringer forbundet med AI-udvikling. Ud over disse fordele har JEST potentialet til at forbedre modelpræcision, afhjælpe forudindtagethed i data, fremme innovation og opmuntre til inklusiv AI-udvikling. Den fortsatte udvikling og anvendelse af JEST er på vej til at redefinere fremtiden for AI, og fremme mere effektive, bæredygtige og etisk ansvarlige AI-løsninger.