Hvorfor markerer Microsofts Orca-2 AI-model en betydelig fremskridt i bæredygtig AI?

Trods de bemærkelsesværdige fremskridt, der er gjort af kunstig intelligens i det sidste årti, herunder at besejre menneskelige mestre i strategiske spil som Skak og GO og forudsige den 3D-struktur af proteiner, markerer den bredere anvendelse af store sprogmodeller (LLM’er) en paradigmeskift. Disse modeller, der er klar til at transformere menneske-computer-interaktioner, er blevet uundværlige på tværs af forskellige sektorer, herunder uddannelse, kundeservice, informationshenting, softwareudvikling, medier og sundhedsvesen. Mens disse teknologiske fremskridt låser op for videnskabelige gennembrud og driver industriel vækst, findes der en bemærkelsesværdig ulempe for planeten.

Processen med at træne og anvende LLM’er forbruger en enorm mængde energi, hvilket resulterer i en betydelig miljømæssig påvirkning kendetegnet ved en øget kulstofaftryk og drivhusgasemissioner. En ny studie fra College of Information and Computer Sciences ved University of Massachusetts Amherst afslørede, at træning af LLM’er kan udledes over 626.000 pund kulstofdioxyd, omtrent svarende til livstidsemissionerne fra fem biler. Hugging Face, en AI-startup, fandt, at træningen af BLOOM, en stor sprogmodel lanceret tidligere på året, resulterede i 25 metriske tons kulstofdioxydemissioner. Ligesom Facebooks AI-model, Meena, akkumulerer en kulstofaftryk på linje med den miljømæssige påvirkning af at køre en bil i mere end 240.000 mil under dens træningsproces.

Trods træning af LLM’er bidrager efterspørgslen efter skybaseret beregning, der er afgørende for LLM’er, nu mere emissioner end hele luftfartsindustrien. Et enkelt datacenter kan forbruge så meget strøm som 50.000 hjem. En anden studie fremhæver, at træning af en enkelt stor sprogmodel kan udledes så meget CO2 som fem biler ved at bruge energi på tværs af deres hele livscyklus. Forudsigelser antyder, at AI-emissioner vil stige med 300% inden 2025, hvilket understreger behovet for at balancere AI-fremgang med miljøansvar og fremmer initiativer for at gøre AI mere miljøvenlig. For at tackle den negative miljømæssige påvirkning af AI-fremgang er bæredygtig AI ved at blive en afgørende studiefelt.

Bæredygtig AI

Bæredygtig AI repræsenterer en paradigmeskift i udviklingen og implementeringen af kunstig intelligenssystemer, med fokus på at minimere miljøpåvirkning, etiske overvejelser og langsigtede samfundsfordele. Tilgangen sigter mod at skabe intelligente systemer, der er energivenlige, miljømæssigt ansvarlige og i overensstemmelse med menneskelige værdier. Bæredygtig AI fokuserer på at bruge ren energi til computere, intelligente algoritmer, der bruger mindre strøm, og følge etiske retningslinjer for at sikre retfærdige og gennemsigtige beslutninger. Det er vigtigt at bemærke, at der er en forskel på AI til bæredygtighed og bæredygtig AI; den førstnævnte kan indebære at bruge AI til at optimere eksisterende processer uden nødvendigvis at overveje dens miljømæssige eller samfundsfordele, mens den sidstnævnte aktivt integrerer principper for bæredygtighed i hver fase af AI-udvikling, fra design til implementering, for at skabe en positiv og varig påvirkning på planeten og samfundet.

Fra LLM’er til Small Language Models (SLM’er)

I jagten på bæredygtig AI arbejder Microsoft (MSFT ) på at udvikle Small Language Models (SLM’er) for at tilpasse sig evnerne hos Large Language Models (LLM’er). I denne indsats har de nyligt introduceret Orca-2, designet til at resonere som GPT-4. I modsætning til sin forgænger, Orca-1, der har 13 milliarder parametre, indeholder Orca-2 7 milliarder parametre ved hjælp af to nøgleteknikker.

1. Instruction Tuning: Orca-2 forbedrer ved at lære fra eksempler, forbedre indholdskvaliteten, zero-shot-evner og resonansfærdigheder på tværs af forskellige opgaver.
2. Explanation Tuning: Ved at erkende begrænsninger i instruction tuning introducerer Orca-2 Explanation Tuning. Dette indebærer at skabe detaljerede forklaringer for lærermodeller, berigende resonanssignaler og forbedring af den overordnede forståelse.

Orca-2 bruger disse teknikker til at opnå højt effektiv resonans, sammenlignelig med hvad LLM’er opnår med mange flere parametre. Den primære idé er at aktivere modellen til at finde den bedste måde at løse et problem på, enten det er at give et hurtigt svar eller tænke det igennem trin for trin. Microsoft kalder dette “Forsigtig Resonans.”

Til at træne Orca-2 opbygger Microsoft en ny samling af træningsdata ved hjælp af FLAN-notationer, Orca-1 og Orca-2-datasættet. De starter med lette spørgsmål, tilføjer nogle svære og bruger derefter data fra talemodeller til at gøre det endnu smartere.

Orca-2 undergår en grundig evaluering, der dækker resonans, tekstafslutning, grundlæggelse, sandhed og sikkerhed. Resultaterne viser potentialet for at forbedre SLM-resonans gennem specialiseret træning på syntetisk data. Trods nogle begrænsninger viser Orca-2-modellerne løfte for fremtidige forbedringer i resonans, kontrol og sikkerhed, og beviser effekten af at anvende syntetisk data strategisk i forfining af modellen efter træning.

Betydningen af Orca-2 for Bæredygtig AI

Orca-2 repræsenterer et betydeligt skridt mod bæredygtig AI, der udfordrer den herskende tro på, at kun større modeller, med deres betydelige energiforbrug, kan virkelig fremme AI-evner. Denne lille sprogmodel præsenterer en alternativ perspektiv, der antyder, at opnåelse af excellence i sprogmodeller ikke nødvendigvis kræver enorme datasæt og omfattende beregningskraft. I stedet understreger den vigtigheden af intelligent design og effektiv integration.

Dette gennembrud åbner nye muligheder ved at fremme en skift i fokus – fra blot at forstørre AI til at koncentrere sig om, hvordan vi designer det. Dette markerer et afgørende skridt i at gøre avanceret AI mere tilgængelig for en bredere publikum, sikrer, at innovation er inklusiv og når en bredere række af mennesker og organisationer.

Orca-2 har potentialet til at have en betydelig indvirkning på udviklingen af fremtidige sprogmodeller. Enten det er at forbedre opgaver relateret til naturlig sprogbehandling eller at aktivere mere avancerede AI-applikationer på tværs af forskellige industrier, er disse mindre modeller klar til at bringe om betydelige positive forandringer. Desuden fungerer de som pionerer i at fremme mere bæredygtige AI-praktikker, der tilpasser teknologisk fremgang med et engagement for miljøansvar.

Bottom Line:

Microsofts Orca-2 repræsenterer et banebrydende skridt mod bæredygtig AI, der udfordrer troen på, at kun store modeller kan fremme AI. Ved at prioritere intelligent design over størrelse åbner Orca-2 nye muligheder, tilbyder en mere inklusiv og miljøvenlig tilgang til avanceret AI-udvikling. Denne skift markerer et betydeligt skridt mod en ny paradigme i intelligent systemdesign.