Varför Microsofts Orca-2 AI-modell markerar ett betydande steg mot hållbar AI?

Trots de betydande framstegen som artificiell intelligens har gjort under det senaste decenniet, som inkluderar att besegra mänskliga mästare i strategiska spel som Schack och GO och förutsäga den tredimensionella strukturen av proteiner, markerar den breda användningen av stora språkmodeller (LLM) en paradigmförändring. Dessa modeller, som är redo att förändra mänsklig-datorinteraktion, har blivit oumbärliga inom olika sektorer, inklusive utbildning, kundtjänst, informationsåtervinning, programvaruutveckling, media och hälsovård. Medan dessa tekniska framsteg låser upp vetenskapliga genombrott och driver industriell tillväxt, finns en betydande negativ aspekt för planeten.

Processen att träna och använda LLM förbrukar en enorm mängd energi, vilket resulterar i en betydande miljöpåverkan som kännetecknas av en ökad koldioxidavtryck och växthusgasutsläpp. En nylig studie från College of Information and Computer Sciences vid University of Massachusetts Amherst avslöjade att träning av LLM kan släppa ut över 626 000 pund koldioxid, ungefär lika mycket som livstidsutsläppen från fem bilar. Hugging Face, ett AI-startup, fann att träningen av BLOOM, en stor språkmodell som lanserades tidigare under året, ledde till 25 ton koldioxid utsläpp. På liknande sätt ackumulerar Facebooks AI-modell, Meena, ett koldioxidavtryck som är jämförbart med miljöpåverkan av att köra en bil i över 240 000 mil under dess träningsprocess.

Trots att LLM tränas, bidrar efterfrågan på molntjänster, som är avgörande för LLM, nu till fler utsläpp än hela flygindustrin. En enda datacenter kan förbruka lika mycket energi som 50 000 hem. En annan studie betonar att träning av en enda stor språkmodell kan släppa ut lika mycket koldioxid som fem bilar som använder energi under hela deras livslängd. Prognoser tyder på att AI-utsläpp kommer att öka med 300 % till 2025, vilket understryker vikten av att balansera AI-utveckling med miljöansvar och initiativ för att göra AI mer miljövänlig. För att hantera den negativa miljöpåverkan av AI-utveckling, framträder hållbar AI som ett viktigt forskningsområde.

Hållbar AI

Hållbar AI representerar en paradigmförändring i utveckling och distribution av artificiella intelligenssystem, med fokus på att minimera miljöpåverkan, etiska överväganden och långsiktiga samhällsfördelar. Tillvägagångssättet syftar till att skapa intelligenta system som är energieffektiva, miljöansvariga och anpassade till mänskliga värderingar. Hållbar AI fokuserar på att använda ren energi för datorer, smarta algoritmer som använder mindre kraft och följa etiska riktlinjer för att säkerställa rättvisa och transparenta beslut. Det är viktigt att notera att det finns en skillnad mellan AI för hållbarhet och hållbar AI; den förra kan innefatta att använda AI för att optimera befintliga processer utan att nödvändigtvis överväga dess miljö- eller samhällskonsekvenser, medan den senare aktivt integrerar principer för hållbarhet i varje fas av AI-utveckling, från design till distribution, för att skapa en positiv och varaktig inverkan på planeten och samhället.

Från LLM till Små Språkmodeller (SLM)

I strävan efter hållbar AI arbetar Microsoft (MSFT ) med att utveckla Små Språkmodeller (SLM) för att anpassa sig till förmågan hos Stora Språkmodeller (LLM). I detta arbete har de nyligen introducerat Orca-2, designad för att resonera som GPT-4. Till skillnad från sin föregångare, Orca-1, som har 13 miljarder parametrar, innehåller Orca-2 7 miljarder parametrar med hjälp av två nyckeltekniker.

1. Instruktionsjustering: Orca-2 förbättras genom att lära av exempel, förbättrar sin innehållskvalitet, nollskottsförmåga och resonemangsförmåga över olika uppgifter.
2. Förklaringsjustering: Genom att erkänna begränsningarna i instruktionsjustering, introducerar Orca-2 Förklaringsjustering. Detta innebär att skapa detaljerade förklaringar för lärarmodeller, berika resonemangssignaler och förbättra den övergripande förståelsen.

Orca-2 använder dessa tekniker för att uppnå högeffektivt resonemang, jämförbart med vad LLM uppnår med många fler parametrar. Den huvudsakliga idén är att möjliggöra för modellen att ta reda på det bästa sättet att lösa ett problem, oavsett om det är att ge ett snabbt svar eller att tänka igenom det steg för steg. Microsoft kallar detta “Försiktig resonemang”.

För att träna Orca-2 bygger Microsoft en ny uppsättning träningsdata med hjälp av FLAN-annoteringar, Orca-1 och Orca-2-dataset. De börjar med enkla frågor, lägger till några knepiga och använder sedan data från talmodeller för att göra den ännu smartare.

Orca-2 genomgår en grundlig utvärdering, som omfattar resonemang, textslutförande, grundning, sanning och säkerhet. Resultaten visar potentialen för att förbättra SLM-resonemang genom specialiserad träning på syntetiska data. Trots vissa begränsningar visar Orca-2-modellerna löfte för framtida förbättringar av resonemang, kontroll och säkerhet, vilket bevisar effektiviteten av att tillämpa syntetiska data strategiskt i förfining av modellen efter träning.

Betydelsen av Orca-2 för Hållbar AI

Orca-2 representerar ett betydande steg mot hållbar AI, som utmanar den rådande uppfattningen att endast större modeller, med deras betydande energiförbrukning, kan verkligen förbättra AI-förmågor. Denna lilla språkmodell presenterar ett alternativt perspektiv, som föreslår att uppnåendet av excellens i språkmodeller inte nödvändigtvis kräver enorma datamängder och omfattande beräkningskraft. Istället betonar den vikten av intelligent design och effektiv integration.

Denna genombrott öppnar nya möjligheter genom att förespråka en förändring i fokus – från att bara förstora AI till att koncentrera sig på hur vi designar den. Detta markerar ett avgörande steg mot att göra avancerad AI mer tillgänglig för en bredare publik, säkerställer att innovationen är inkluderande och når en större grupp människor och organisationer.

Orca-2 har potentialen att ha en betydande inverkan på utvecklingen av framtida språkmodeller. Oavsett om det handlar om att förbättra uppgifter relaterade till naturlig språkbehandling eller möjliggöra mer avancerade AI-applikationer inom olika branscher, är dessa mindre modeller redo att medföra betydande positiva förändringar. Dessutom fungerar de som pionjärer i främjandet av mer hållbara AI-praxis, som anpassar teknisk framsteg med ett åtagande till miljöansvar.

Sammanfattning:

Microsofts Orca-2 representerar ett banbrytande steg mot hållbar AI, som utmanar uppfattningen att endast stora modeller kan förbättra AI. Genom att prioritera intelligent design framför storlek, öppnar Orca-2 nya möjligheter och erbjuder en mer inkluderande och miljöansvarig approach till avancerad AI-utveckling. Denna förändring markerar ett betydande steg mot en ny paradigm i intelligent systemdesign.