Hvorfor Microsofts Orca-2 AI-modell markerer et betydelig steg innen bærekraftig AI?

Til tross for de bemerkelsesverdige fremskrittene gjort av kunstig intelligens det siste tiåret, som inkluderer å beseire menneskelige mestere i strategiske spill som Sjakk og GO og forutsi 3D-strukturen til proteiner, den utbredte adopsjonen av store språkmodeller (LLMs) betyr et paradigmeskifte. Disse modellene, klar til å transformere menneske-datamaskin-interaksjoner, har blitt uunnværlige på tvers av ulike sektorer, inkludert utdanning, kundeservice, informasjonsinnhenting, programvareutvikling, media og helsetjenester. Mens disse teknologiske fremskritt låser opp for vitenskapelige gjennombrudd og gir næring til industriell vekst, finnes det en bemerkelsesverdig ulempe for planeten.

Prosessen med å trene og bruke LLM-er bruker en enorm mengde energi, noe som resulterer i en betydelig miljøpåvirkning preget av økt karbonfotavtrykk og klimagassutslipp. En fersk studie fra College of Information and Computer Sciences ved University of Massachusetts Amherst avslørte at opplæring LLM-er kan avgi over 626,000 pund karbondioksid, omtrent tilsvarende levetidsutslippene til fem biler. Hugging Face, en AI-startup, fant ut at opplæringen av BLOOM, en stor språkmodell lansert tidligere på året, førte til 25 tonn av karbondioksidutslipp. På samme måte akkumulerer Facebooks AI-modell, Meena, et karbonavtrykk på nivå med miljøpåvirkningen av å kjøre bil i mer enn 240,000 miles gjennom hele opplæringsprosessen.

Til tross for opplæring av LLM-er, bidrar nå etterspørselen etter cloud computing, avgjørende for LLM-er mer utslipp enn hele flybransjen. Et enkelt datasenter kan forbruke like mye strøm som 50,000 hjem. En annen studie fremhever at trening av en enkelt stor språkmodell kan frigjøre like mye CO2 som fem biler bruke energi gjennom hele livet. Spådommer tyder på at AI-utslippene vil øke med 300 % innen 2025, noe som understreker hvor presserende det er å balansere AI-fremgang med miljøansvar og motiverer til initiativer for å gjøre AI mer miljøvennlig. For å møte den negative miljøpåvirkningen av AI-fremskritt, fremstår bærekraftig AI som et avgjørende studiefelt.

Bærekraftig AI

Bærekraftig AI representerer et paradigmeskifte i utviklingen og distribusjonen av kunstig intelligens-systemer, med fokus på å minimere miljøpåvirkning, etiske hensyn og langsiktige samfunnsmessige fordeler. Tilnærmingen tar sikte på å skape intelligente systemer som er energieffektive, miljømessig ansvarlige og på linje med menneskelige verdier. Sustainable AI fokuserer på å bruke ren energi til datamaskiner, smarte algoritmer som bruker mindre strøm, og å følge etiske retningslinjer for å sikre rettferdige og transparente beslutninger. Det er viktig å merke seg at det er en forskjell mellom AI for bærekraft og bærekraftig AI; førstnevnte kan innebære bruk av AI for å optimalisere eksisterende prosesser uten nødvendigvis å vurdere dets miljømessige eller samfunnsmessige konsekvenser, mens sistnevnte aktivt integrerer prinsipper for bærekraft i hver fase av AI-utviklingen, fra design til utplassering, for å skape en positiv og varig innvirkning på planeten og samfunn.

Fra LLMs til Small Language Models (SLMs)

I jakten på bærekraftig kunstig intelligens jobber Microsoft med å utvikle Small Language Models (SLM) for å tilpasses mulighetene til Large Language Models (LLM). I denne innsatsen introduserer de nylig Orca-2, designet for å resonnere som GPT-4. I motsetning til forgjengeren Orca-1, med 13 milliarder parametere, inneholder Orca-2 7 milliarder parametere ved hjelp av to nøkkelteknikker.

1. Instruksjonsjustering: Orca-2 forbedrer seg ved å lære av eksempler, forbedre innholdskvaliteten, nullskuddsevnene og resonneringsferdighetene på tvers av ulike oppgaver.
2. Forklaring Tuning: Orca-2 erkjenner begrensninger i instruksjonsinnstilling, og introduserer forklaringstuning. Dette innebærer å lage detaljerte forklaringer for lærermodeller, berike resonnementsignaler og forbedre helhetsforståelsen.

Orca-2 bruker disse teknikkene for å oppnå svært effektiv resonnement, sammenlignbar med hva LLM-er oppnår med mange flere parametere. Hovedideen er å gjøre det mulig for modellen å finne ut den beste måten å løse et problem på, enten det er å gi et raskt svar eller å tenke gjennom det steg for steg. Microsoft kaller dette «Forsiktig resonnement».

For å trene Orca-2 bygger Microsoft et nytt sett med treningsdata ved å bruke FLAN-kommentarer, Orca-1 og Orca-2-datasettet. De starter med enkle spørsmål, legger til noen vanskelige spørsmål, og bruker deretter data fra snakkende modeller for å gjøre det enda smartere.

Orca-2 gjennomgår en grundig evaluering, som dekker resonnement, tekstfullføring, jording, sannferdighet og sikkerhet. Resultatene viser potensialet for å forbedre SLM-resonnement gjennom spesialisert opplæring på syntetiske data. Til tross for noen begrensninger, viser Orca-2-modeller løfter for fremtidige forbedringer i resonnement, kontroll og sikkerhet, og beviser effektiviteten av å bruke syntetiske data strategisk for å avgrense modellen etter trening.

Betydningen av Orca-2 mot bærekraftig kunstig intelligens

Orca-2 representerer et betydelig sprang mot bærekraftig AI, og utfordrer den rådende troen på at bare større modeller, med sitt betydelige energiforbruk, virkelig kan fremme AI-evner. Denne lille språkmodellen presenterer et alternativt perspektiv, og antyder at det å oppnå fremragende språkmodeller ikke nødvendigvis krever enorme datasett og omfattende datakraft. I stedet understreker det viktigheten av intelligent design og effektiv integrasjon.

Dette gjennombruddet åpner nye muligheter ved å gå inn for et skifte i fokus – fra bare å utvide AI til å konsentrere oss om hvordan vi designer den. Dette markerer et avgjørende skritt for å gjøre avansert AI mer tilgjengelig for et bredere publikum, og sikre at innovasjon er inkluderende og når ut til et bredere spekter av mennesker og organisasjoner.

Orca-2 har potensial til å påvirke utviklingen av fremtidige språkmodeller betydelig. Enten det er å forbedre oppgaver knyttet til naturlig språkbehandling eller muliggjøre mer sofistikerte AI-applikasjoner på tvers av ulike bransjer, er disse mindre modellene klar til å skape betydelige positive endringer. Dessuten fungerer de som pionerer i å fremme mer bærekraftig AI-praksis, og tilpasser teknologisk fremgang med en forpliktelse til miljøansvar.

Bunnlinjen:

Microsofts Orca-2 representerer et banebrytende trekk mot bærekraftig AI, og utfordrer troen på at bare store modeller kan fremme AI. Ved å prioritere intelligent design fremfor størrelse, åpner Orca-2 nye muligheter, og tilbyr en mer inkluderende og miljømessig ansvarlig tilnærming til avansert AI-utvikling. Dette skiftet markerer et betydelig skritt mot et nytt paradigme innen intelligent systemdesign.