Varför Microsofts Orca-2 AI-modell markerar ett betydande framsteg inom hållbar AI?

Trots de anmärkningsvärda framsteg som gjorts av artificiell intelligens under det senaste decenniet, som inkluderar att besegra mänskliga mästare i strategiska spel som Schack och GO och förutsäga 3D-strukturen hos proteiner, den utbredda antagandet av stora språkmodeller (LLM) betyder ett paradigmskifte. Dessa modeller, som är redo att omvandla interaktioner mellan människa och dator, har blivit oumbärliga inom olika sektorer, inklusive utbildning, kundservice, informationssökning, mjukvaruutveckling, media och hälsovård. Även om dessa tekniska framsteg låser upp vetenskapliga genombrott och underblåser industriell tillväxt, finns det en anmärkningsvärd nackdel för planeten.

Processen att utbilda och använda LLM:er förbrukar en enorm mängd energi, vilket resulterar i en betydande miljöpåverkan som kännetecknas av ett ökat koldioxidavtryck och utsläpp av växthusgaser. En nyligen genomförd studie från College of Information and Computer Sciences vid University of Massachusetts Amherst avslöjade att utbildning LLMs kan avge över 626,000 XNUMX pund koldioxid, ungefär lika med livstidsutsläppen från fem bilar. Hugging Face, en AI-startup, fann att utbildningen av BLOOM, en stor språkmodell som lanserades tidigare under året, ledde till 25 ton av koldioxidutsläpp. På liknande sätt ackumulerar Facebooks AI-modell, Meena, ett koldioxidavtryck i nivå med miljöpåverkan av att köra bil i mer än 240,000 miles under hela utbildningsprocessen.

Trots utbildade LLM:er bidrar nu efterfrågan på cloud computing, avgörande för LLM:er mer utsläpp än hela flygbranschen. Ett enda datacenter kan förbruka lika mycket ström som 50,000 hem. En annan studie visar att träning av en enda stor språkmodell kan frigöra lika mycket CO2 som fem bilar använda energi under hela sin livstid. Förutsägelser tyder på att AI-utsläppen kommer att öka 300% av 2025, som betonar vikten av att balansera AI-framsteg med miljöansvar och föranleder initiativ för att göra AI mer miljövänlig. För att ta itu med den negativa miljöpåverkan av AI-framsteg, håller hållbar AI på att dyka upp som ett avgörande studieområde.

Hållbar AI

Hållbar AI representerar ett paradigmskifte i utvecklingen och driftsättningen av artificiell intelligenssystem, med fokus på att minimera miljöpåverkan, etiska överväganden och långsiktiga samhällsnytta. Tillvägagångssättet syftar till att skapa intelligenta system som är energieffektiva, miljömässigt ansvarsfulla och anpassade till mänskliga värderingar. Hållbar AI fokuserar på att använda ren energi för datorer, smarta algoritmer som använder mindre ström och att följa etiska riktlinjer för att säkerställa rättvisa och transparenta beslut. Det är viktigt att notera att det finns en skillnad mellan AI för hållbarhet och hållbar AI; den förra kan innebära att man använder AI för att optimera befintliga processer utan att nödvändigtvis ta hänsyn till dess miljömässiga eller samhälleliga konsekvenser, medan den senare aktivt integrerar principer om hållbarhet i varje fas av AI-utveckling, från design till implementering, för att skapa en positiv och bestående inverkan på planeten och samhälle.

Från LLM till Small Language Models (SLM)

I jakten på hållbar AI arbetar Microsoft på att utveckla Small Language Models (SLM) för att anpassa sig till kapaciteten hos Large Language Models (LLM). I denna ansträngning introducerar de nyligen Orca-2, designad för att resonera som GPT-4. Till skillnad från sin föregångare, Orca-1, med 13 miljarder parametrar, innehåller Orca-2 7 miljarder parametrar med två nyckeltekniker.

1. Instruktionsjustering: Orca-2 förbättras genom att lära av exempel, förbättra dess innehållskvalitet, nollskottskapacitet och resonemangsförmåga över olika uppgifter.
2. Förklaring Tuning: Orca-2 inser begränsningar i instruktionsjustering och introducerar förklaringsjustering. Detta innebär att skapa detaljerade förklaringar till lärarmodeller, berika resonemangssignaler och förbättra den övergripande förståelsen.

Orca-2 använder dessa tekniker för att uppnå mycket effektiva resonemang, jämförbara med vad LLM:er uppnår med många fler parametrar. Huvudidén är att göra det möjligt för modellen att ta reda på det bästa sättet att lösa ett problem, oavsett om det är att ge ett snabbt svar eller att tänka igenom det steg för steg. Microsoft kallar detta "Cutious Reasoning".

För att träna Orca-2 bygger Microsoft en ny uppsättning träningsdata med hjälp av FLAN-kommentarer, Orca-1 och Orca-2-datauppsättningen. De börjar med enkla frågor, lägger till några knepiga frågor och använder sedan data från talande modeller för att göra det ännu smartare.

Orca-2 genomgår en grundlig utvärdering som omfattar resonemang, textkomplettering, jordning, sanningsenlighet och säkerhet. Resultaten visar potentialen i att förbättra SLM-resonemang genom specialiserad utbildning om syntetiska data. Trots vissa begränsningar visar Orca-2-modeller lovande för framtida förbättringar i resonemang, kontroll och säkerhet, vilket bevisar effektiviteten av att tillämpa syntetisk data strategiskt för att förfina modellen efter träning.

Betydelsen av Orca-2 mot hållbar AI

Orca-2 representerar ett betydande steg mot hållbar AI, och utmanar den rådande uppfattningen att endast större modeller, med sin betydande energiförbrukning, verkligen kan förbättra AI-kapaciteten. Denna lilla språkmodell presenterar ett alternativt perspektiv, vilket tyder på att det inte nödvändigtvis kräver enorma datamängder och omfattande datorkraft för att uppnå excellens i språkmodeller. Istället understryker det vikten av intelligent design och effektiv integration.

Detta genombrott öppnar nya möjligheter genom att förespråka ett skifte i fokus – från att bara utöka AI till att koncentrera oss på hur vi designar den. Detta markerar ett avgörande steg för att göra avancerad AI mer tillgänglig för en bredare publik, för att säkerställa att innovation är inkluderande och når ett bredare spektrum av människor och organisationer.

Orca-2 har potential att avsevärt påverka utvecklingen av framtida språkmodeller. Oavsett om det handlar om att förbättra uppgifter relaterade till bearbetning av naturligt språk eller att möjliggöra mer sofistikerade AI-applikationer inom olika branscher, är dessa mindre modeller redo att åstadkomma betydande positiva förändringar. Dessutom fungerar de som pionjärer när det gäller att främja mer hållbara AI-metoder, och anpassar tekniska framsteg med ett engagemang för miljöansvar.

Poängen:

Microsofts Orca-2 representerar ett banbrytande steg mot hållbar AI, som utmanar tron ​​att endast stora modeller kan utveckla AI. Genom att prioritera intelligent design framför storlek öppnar Orca-2 nya möjligheter och erbjuder ett mer inkluderande och miljömässigt ansvarsfullt förhållningssätt till avancerad AI-utveckling. Denna förändring markerar ett viktigt steg mot ett nytt paradigm inom intelligent systemdesign.