Hvorfor markerer Microsofts Orca-2 AI-modell en betydelig milepæl i bærekraftig AI?

Til tross for de betydelige fremgangene som kunstig intelligens har gjort i det siste tiåret, som inkluderer å slå menneskelige mestere i strategiske spill som Sjakk og GO og forutsi den 3D-strukturen til proteiner, markerer den omfattende bruken av store språkmodeller (LLM) en paradigmeskift. Disse modellene, som er i stand til å transformere menneske-maskin-interaksjoner, har blitt uunnværlige i ulike sektorer, inkludert utdanning, kundeservice, informasjonsøking, programvareutvikling, media og helsevesen. Mens disse teknologiske fremgangene åpner opp for vitenskapelige gjennombrudd og driver industriell vekst, finnes det en betydelig ulempe for planeten.

Prosessen med å trene og bruke LLMer forbruker en enorm mengde energi, noe som resulterer i en betydelig miljøpåvirkning preget av økt karbonavtrykk og drivhusgassutslipp. En nylig studie fra College of Information and Computer Sciences ved University of Massachusetts Amherst avslørte at trening av LLMer kan utslippe over 626 000 pund karbondioksid, omtrent likt utslippet fra fem biler gjennom deres levetid. Hugging Face, en AI-startup, fant at treningen av BLOOM, en stor språkmodell lansert tidligere på året, ledet til 25 metriske tonn karbondioksidutslipp. Liksom Facebooks AI-modell, Meena, akkumulerer en karbonavtrykk på linje med miljøpåvirkningen av å kjøre en bil i over 240 000 mil gjennom treningprosessen.

Til tross for trening av LLMer, bidrar etterspørselen etter skytjenester, som er avgjørende for LLMer, nå med flere utslipp enn hele flyindustrien. Et enkelt datasenter kan forbruke like mye strøm som 50 000 hjem. En annen studie fremhever at trening av en enkelt stor språkmodell kan utslippe like mye CO2 som fem biler som bruker energi gjennom hele deres levetid. Forutsigelser viser at AI-utslippene vil øke med 300 % innen 2025, og understreker behovet for å balansere AI-fremgang med miljøansvar og fremme initiativer for å gjøre AI mer miljøvennlig. For å møte den negative miljøpåvirkningen av AI-fremgang, oppstår bærekraftig AI som et viktig forskningsområde.

Bærekraftig AI

Bærekraftig AI representerer en paradigmeskift i utviklingen og implementeringen av kunstig intelligenssystemer, med fokus på å minimere miljøpåvirkning, etiske overveielser og langsiktige samfunnsfordeler. Tilnærmingen har som mål å skape intelligente systemer som er energieffektive, miljøvennlige og i samsvar med menneskelige verdier. Bærekraftig AI fokuserer på å bruke ren energi for datamaskiner, smarte algoritmer som bruker mindre kraft og følge etiske retningslinjer for å sikre rettferdige og transparente beslutninger. Det er viktig å merke seg at det er en forskjell på AI for bærekraft og bærekraftig AI; den førstnevnte kan innebære å bruke AI til å optimalisere eksisterende prosesser uten å nødvendigvis vurdere deres miljø- eller samfunnsmessige konsekvenser, mens den sistnevnte aktivt integrerer bærekraftsprinsipper i hver fase av AI-utvikling, fra design til implementering, for å skape en positiv og varig innvirkning på planeten og samfunnet.

Fra LLMer til små språkmodeller (SLM)

I jakten på bærekraftig AI, arbeider Microsoft (MSFT ) med å utvikle små språkmodeller (SLM) for å sammenligne med evnene til store språkmodeller (LLM). I denne innsatsen har de nylig introdusert Orca-2, designet for å resonnere som GPT-4. I motsetning til sin forgjenger, Orca-1, som har 13 milliarder parametre, inneholder Orca-2 7 milliarder parametre ved hjelp av to nøkkelteknikker.

1. Instruksjonstuning: Orca-2 forbedrer seg ved å lære fra eksempler, forbedrer innholdskvaliteten, nullskuddsevnen og resonnereferdighetene over ulike oppgaver.
2. Forklaringstuning: Ved å erkjenne begrensningene i instruksjonstuning, introduserer Orca-2 forklaringstuning. Dette innebærer å lage detaljerte forklaringer for lærermodeller, berike resonnere signaler og forbedre den totale forståelsen.

Orca-2 bruker disse teknikkene for å oppnå høyt effektiv resonnement, sammenlignbart med hva LLMer oppnår med mange flere parametre. Hovedideen er å muliggjøre at modellen kan finne ut den beste måten å løse et problem på, enten det er å gi et raskt svar eller å tenke det gjennom trinn for trinn. Microsoft kaller dette “forsiktig resonnement”.

For å trene Orca-2, bygger Microsoft en ny sett med treningsdata ved hjelp av FLAN-annotasjoner, Orca-1 og Orca-2-datasettet. De starter med enkle spørsmål, legger til noen vanskelige og bruker deretter data fra snakkemodeller for å gjøre det enda smartere.

Orca-2 gjennomgår en grundig evaluering, som dekker resonnement, tekstfullføring, grunnleggelse, sannhet og sikkerhet. Resultatene viser potensialet for å forbedre SLM-resonnement gjennom spesialisert trening på syntetisk data. Til tross for noen begrensninger, viser Orca-2-modellene løfte for fremtidige forbedringer i resonnement, kontroll og sikkerhet, og beviste effektiviteten av å bruke syntetisk data strategisk i å forfine modellen etter trening.

Betydningen av Orca-2 for bærekraftig AI

Orca-2 representerer et betydelig skritt mot bærekraftig AI, og utfordrer den rådende troen på at bare større modeller, med deres betydelige energiforbruk, kan virkelig fremme AI-evnen. Denne små språkmodellen presenterer en alternativ perspektiv, som antyder at å oppnå fremragende resultater i språkmodeller ikke nødvendigvis krever enorme datasamlinger og omfattende beregningskraft. I stedet understreker den viktigheten av intelligent design og effektiv integrering.

Dette gjennombruddet åpner opp for nye muligheter ved å fremme en skifte i fokus – fra å bare forstørre AI til å konsentrere seg om hvordan vi designer det. Dette markerer et kritisk skritt i å gjøre avansert AI mer tilgjengelig for et bredere publikum, og sikrer at innovasjonen er inklusiv og når ut til et bredere spekter av mennesker og organisasjoner.

Orca-2 har potensialet til å ha en betydelig innvirkning på utviklingen av fremtidige språkmodeller. Enten det er å forbedre oppgaver relatert til naturlig språkbehandling eller å muliggjøre mer sofistikerte AI-applikasjoner over ulike industrier, er disse små modellene i stand til å bringe om betydelige positive endringer. I tillegg fungerer de som pionerer i å fremme mer bærekraftige AI-praksiser, og sammenfaller med teknologisk fremgang og et engasjement for miljøansvar.

Sluttkonklusjon:

Microsofts Orca-2 representerer et banebrytende skritt mot bærekraftig AI, og utfordrer troen på at bare store modeller kan fremme AI. Ved å prioritere intelligent design over størrelse, åpner Orca-2 opp for nye muligheter, og tilbyr en mer inklusiv og miljøvennlig tilnærming til avansert AI-utvikling. Denne skiftet markerer et betydelig skritt mot en ny paradigme i intelligent systemdesign.