Waarom Microsofts Orca-2 AI-model een significante stap zet in duurzame AI?

Ondanks de opvallende vooruitgang die artificial intelligence in het afgelopen decennium heeft geboekt, waaronder het verslaan van menselijke kampioenen in strategische spellen zoals Schaken en GO en het voorspellen van de 3D-structuur van eiwitten, markeert de wijdverbreide adoptie van grote taalmodellen (LLM’s) een paradigma-shift. Deze modellen, die zijn ontworpen om mens-computer-interacties te transformeren, zijn onmisbaar geworden in verschillende sectoren, waaronder onderwijs, klantenservice, informatie-opzoek, software-ontwikkeling, media en gezondheidszorg. Terwijl deze technologische vooruitgang wetenschappelijke doorbraken mogelijk maakt en industriële groei stimuleert, bestaat er een opvallende nadelen voor de planeet.

Het trainen en gebruiken van LLM’s verbruikt een enorme hoeveelheid energie, wat resulteert in een aanzienlijke milieueffect, gekenmerkt door een toename van de koolstofvoetafdruk en broeikasgasemissies. Een recente studie van het College of Information and Computer Sciences van de Universiteit van Massachusetts Amherst onthulde dat het trainen van LLM’s meer dan 626.000 pond koolstofdioxide kan emitteren, ongeveer gelijk aan de levenslange emissies van vijf auto’s. Hugging Face, een AI-startup, vond dat het trainen van BLOOM, een groot taalmodel dat eerder in het jaar werd gelanceerd, leidde tot 25 metrische ton koolstofdioxide-emissies. Vergelijkbaar hiermee heeft Facebooks AI-model, Meena, een koolstofvoetafdruk die gelijk is aan de milieueffecten van het rijden van een auto voor meer dan 240.000 mijl tijdens het trainingsproces.

Ondanks het trainen van LLM’s, draagt de vraag naar cloud computing, die essentieel is voor LLM’s, nu meer bij aan de emissies dan de hele luchtvaartindustrie. Een enkel datacentrum kan evenveel stroom verbruiken als 50.000 huizen. Een andere studie benadrukt dat het trainen van een enkel groot taalmodel evenveel CO2 kan emitteren als vijf auto’s die energie gebruiken gedurende hun hele levensduur. Voorspellingen suggereren dat AI-emissies met 300% zullen stijgen tegen 2025, waardoor de noodzaak om AI-vooruitgang in evenwicht te brengen met milieueffecten en initiatieven om AI meer eco-vriendelijk te maken, wordt benadrukt. Om het nadelige milieueffect van AI-vooruitgang aan te pakken, ontwikkelt duurzame AI zich als een cruciaal onderzoeksgebied.

Duurzame AI

Duurzame AI vertegenwoordigt een paradigma-shift in de ontwikkeling en implementatie van kunstmatige intelligentiesystemen, met de focus op het minimaliseren van milieueffecten, ethische overwegingen en langetermijnmaatschappelijke voordelen. De aanpak is gericht op het creëren van intelligente systemen die energie-efficiënt, milieuvriendelijk en afgestemd zijn op menselijke waarden. Duurzame AI richt zich op het gebruik van schone energie voor computers, slimme algoritmes die minder stroom verbruiken en het volgen van ethische richtlijnen om eerlijke en transparante beslissingen te garanderen. Het is belangrijk om op te merken dat er een verschil bestaat tussen AI voor duurzaamheid en duurzame AI; de eerste kan AI gebruiken om bestaande processen te optimaliseren zonder noodzakelijkerwijs de milieueffecten of maatschappelijke gevolgen te overwegen, terwijl de laatste actief duurzaamheidsprincipes integreert in elke fase van AI-ontwikkeling, van ontwerp tot implementatie, om een positieve en duurzame impact op de planeet en de maatschappij te creëren.

Van LLM’s naar Small Language Models (SLM’s)

In de zoektocht naar duurzame AI werkt Microsoft (MSFT ) aan de ontwikkeling van Small Language Models (SLM’s) om de mogelijkheden van Large Language Models (LLM’s) te evenaren. In deze inspanning hebben ze onlangs Orca-2 geïntroduceerd, ontworpen om te redeneren als GPT-4. In tegenstelling tot zijn voorganger, Orca-1, met 13 miljard parameters, bevat Orca-2 7 miljard parameters met behulp van twee sleuteltechnieken.

1. Instructieafstemming: Orca-2 verbetert door te leren van voorbeelden, waardoor de inhoudskwaliteit, zero-shot-mogelijkheden en redeneervaardigheden over verschillende taken worden verbeterd.
2. Uitlegafstemming: Orca-2 introduceert Uitlegafstemming, waardoor gedetailleerde uitleg voor lerarenmodellen wordt gemaakt, redeneersignalen worden verrijkt en het algehele begrip wordt verbeterd.

Orca-2 gebruikt deze technieken om hoog-efficiënte redenering te bereiken, vergelijkbaar met wat LLM’s bereiken met veel meer parameters. Het hoofdidee is om het model in staat te stellen de beste manier te vinden om een probleem op te lossen, of het nu gaat om het geven van een snel antwoord of het stap voor stap doorlopen van een proces. Microsoft noemt dit “Voorzichtige Redenering.”

Om Orca-2 te trainen, bouwt Microsoft een nieuwe set trainingsgegevens met FLAN-annotaties, Orca-1 en de Orca-2-dataset. Ze beginnen met eenvoudige vragen, voegen er enkele lastige toe en gebruiken vervolgens gegevens van pratende modellen om het nog slimmer te maken.

Orca-2 ondergaat een grondige evaluatie, waarin redenering, tekstvoltooiing, gronding, waarheidsgetrouwheid en veiligheid worden behandeld. De resultaten laten het potentieel zien van het verbeteren van SLM-redenering door gespecialiseerde training op synthetische gegevens. Ondanks enkele beperkingen laten Orca-2-modellen belofte zien voor toekomstige verbeteringen in redenering, controle en veiligheid, waardoor de effectiviteit van het strategisch toepassen van synthetische gegevens na de training wordt aangetoond.

Betekenis van Orca-2 voor Duurzame AI

Orca-2 vertegenwoordigt een significante stap naar duurzame AI, waardoor de heersende overtuiging dat alleen grotere modellen, met hun aanzienlijke energieverbruik, AI-mogelijkheden daadwerkelijk kunnen verbeteren, wordt uitgedaagd. Dit kleine taalmodel presenteert een alternatief perspectief, waarin wordt gesuggereerd dat het bereiken van excellentie in taalmodellen niet noodzakelijkerwijs enorme datasets en uitgebreide berekeningskracht vereist. In plaats daarvan benadrukt het het belang van slim ontwerp en effectieve integratie.

Deze doorbraak opent nieuwe mogelijkheden door een verschuiving van focus te bepleiten – van het vergroten van AI naar het concentreren op hoe we het ontwerpen. Dit markeert een cruciale stap in het maken van geavanceerde AI toegankelijker voor een bredere doelgroep, waarbij wordt gegarandeerd dat innovatie inclusief is en een bredere range van mensen en organisaties bereikt.

Orca-2 heeft het potentieel om een significante impact te hebben op de ontwikkeling van toekomstige taalmodellen. Of het nu gaat om het verbeteren van taken die verband houden met natuurlijke taalverwerking of het mogelijk maken van meer geavanceerde AI-toepassingen in verschillende industrieën, deze kleinere modellen zijn klaar om aanzienlijke positieve veranderingen teweeg te brengen. Bovendien fungeren ze als pioniers in het promoten van meer duurzame AI-praktijken, waarbij technologische vooruitgang in evenwicht wordt gebracht met een toewijding aan milieueffecten.

De Bottom Line:

Microsofts Orca-2 vertegenwoordigt een baanbrekende stap naar duurzame AI, waardoor de overtuiging dat alleen grote modellen AI kunnen verbeteren, wordt uitgedaagd. Door slim ontwerp boven grootte te prioriteren, opent Orca-2 nieuwe mogelijkheden, waarbij een meer inclusieve en milieuvriendelijke benadering van geavanceerde AI-ontwikkeling wordt geboden. Deze verschuiving markeert een significante stap naar een nieuw paradigma in slimme systeemontwerp.