Gedistilleerde Reuzen: Waarom We Kleine AI-ontwikkeling Opnieuw Moeten Bekijken

In de afgelopen jaren heeft de race om steeds grotere AI-modellen te ontwikkelen de technologie-industrie in zijn greep gehad. Deze modellen, met hun miljarden parameters, beloven baanbrekende vooruitgang in verschillende gebieden, van natuurlijke taalverwerking tot beeldherkenning. Echter, deze onvermoeibare jacht op grootte gaat gepaard met aanzienlijke nadelen in de vorm van hoge kosten en aanzienlijke milieueffecten. Terwijl kleine AI een veelbelovend alternatief biedt, met efficiëntie en lager energieverbruik, vereist de huidige aanpak voor het bouwen ervan nog steeds aanzienlijke middelen. Terwijl we kleine en meer duurzame AI nastreven, is het verkennen van nieuwe strategieën die deze beperkingen effectief aanpakken, cruciaal.

Kleine AI: Een Duurzame Oplossing voor Hoge Kosten en Energievraag

Het ontwikkelen en onderhouden van grote AI-modellen is een dure onderneming. Schattingen suggereren dat het trainen van GPT-3 meer dan $4 miljoen kost, met meer geavanceerde modellen die mogelijk hogere kosten bereiken. Deze kosten, inclusief noodzakelijke hardware, opslag, rekenkracht en menselijke middelen, zijn prohibitief voor veel organisaties, met name kleinere ondernemingen en onderzoeksinstellingen. Deze financiële barrière creëert een oneven speelveld, waardoor toegang tot cutting-edge AI-technologie wordt beperkt en innovatie wordt gehinderd.

Bovendien zijn de energievragen die samenhangen met het trainen van grote AI-modellen verbluffend. Zo wordt geschat dat het trainen van een groot taalmodel zoals GPT-3 bijna 1.300 megawattuur (MWh) aan elektriciteit verbruikt—gelijk aan het jaarlijkse energieverbruik van 130 Amerikaanse huishoudens. Ondanks deze aanzienlijke trainingskosten, incasseert elke ChatGPT-aanvraag een inferencekost van 2,9 wattuur. De IEA schat dat de collectieve energievraag van AI, datacentra en cryptocurrency bijna 2 procent van de mondiale energievraag uitmaakt. Deze vraag zal naar verwachting verdubbelen tegen 2026, waardoor deze de totale elektriciteitsconsumptie van Japan benadert. Het hoge energieverbruik verhoogt niet alleen de operationele kosten, maar draagt ook bij aan de ecologische voetafdruk, waardoor de milieucrisis wordt verergerd. Om dit in perspectief te plaatsen, schatten onderzoekers dat het trainen van één groot AI-model meer dan 626.000 pond CO2 kan uitstoten, gelijk aan de emissies van vijf auto’s gedurende hun levensduur.

Tussen deze uitdagingen biedt kleine AI een praktische oplossing. Het is ontworpen om efficiënter en schaalbaarder te zijn, met veel minder data en rekenkracht nodig. Dit vermindert de totale kosten en maakt geavanceerde AI-technologie toegankelijker voor kleinere organisaties en onderzoeksteams. Bovendien hebben kleine AI-modellen lagere energievragen, waardoor de operationele kosten worden verlaagd en de milieueffecten worden verminderd. Door geoptimaliseerde algoritmen en methoden zoals transfer learning te gebruiken, kan kleine AI hoge prestaties bereiken met minder middelen. Deze aanpak maakt AI niet alleen betaalbaarder, maar ondersteunt ook duurzaamheid door zowel energieverbruik als koolstofemissies te minimaliseren.

Hoe Kleine AI-Modellen Tegenwoordig Worden Gebouwd

Het erkennen van de voordelen van kleine AI heeft ertoe geleid dat grote technologiebedrijven zoals Google (GOOGL ), OpenAI en Meta zich steeds meer richten op het ontwikkelen van compacte modellen. Deze verschuiving heeft geleid tot de evolutie van modellen zoals Gemini Flash, GPT-4o Mini en Llama 7B. Deze kleinere modellen worden voornamelijk ontwikkeld met behulp van een techniek genaamd kennisdistillatie.

In essentie houdt distillatie het overdragen van de kennis van een groot, complex model naar een kleinere, efficiëntere versie in. In dit proces wordt een “leraar”-model—groot AI-model—getraind op uitgebreide datasets om ingewikkelde patronen en nuances te leren. Dit model genereert vervolgens voorspellingen of “zachte labels” die zijn diepe begrip omvatten.

Het “leerling”-model, dat een klein AI-model is, wordt getraind om deze zachte labels te repliceren. Door het gedrag van de leraar te imiteren, vat het leerling-model veel van zijn kennis en prestaties samen, terwijl het met aanzienlijk minder parameters werkt.

Waarom We Verder Moeten Gaan dan het Distilleren van Grote AI

Terwijl het distilleren van grote AI-modellen in kleinere, beheersbaardere versies een populaire aanpak is geworden voor het bouwen van kleine AI, zijn er verschillende overtuigende redenen waarom deze aanpak niet een oplossing kan zijn voor alle uitdagingen in de ontwikkeling van grote AI.

• Voortdurende Afhankelijkheid van Grote Modellen: Hoewel distillatie kleinere, efficiëntere AI-modellen creëert en de computationele en energiedoeltreffendheid tijdens inferentie verbetert, is het nog steeds sterk afhankelijk van het trainen van grote AI-modellen in eerste instantie. Dit betekent dat het bouwen van kleine AI-modellen nog steeds aanzienlijke computationele middelen en energiekosten vereist, wat leidt tot hoge kosten en milieueffecten, zelfs voordat distillatie plaatsvindt. De noodzaak om grote modellen herhaaldelijk te trainen voor distillatie verplaatst de middelenlast in plaats van deze te elimineren. Hoewel distillatie erop gericht is de grootte en kosten van AI-modellen te verminderen, elimineert het de aanzienlijke initiële kosten die samenhangen met het trainen van de grote “leraar”-modellen niet. Deze initiële uitgaven kunnen vooral uitdagend zijn voor kleinere organisaties en onderzoeksinstellingen. Bovendien kan de milieueffect van het trainen van deze grote modellen enkele van de voordelen van het gebruik van kleinere, efficiëntere modellen tenietdoen, aangezien de koolstofvoetafdruk van de initiële trainingsfase aanzienlijk blijft.
• Beperkte Innovatiebereik: Het vertrouwen op distillatie kan innovatie beperken door te focussen op het repliceren van bestaande grote modellen in plaats van het verkennen van nieuwe benaderingen. Dit kan de ontwikkeling van nieuwe AI-architecturen of methoden vertragen die betere oplossingen voor specifieke problemen kunnen bieden. De afhankelijkheid van grote AI beperkt de ontwikkeling van kleine AI in de handen van een paar middelenrijke bedrijven. Als gevolg hiervan worden de voordelen van kleine AI niet gelijkmatig verdeeld, wat de bredere technologische vooruitgang kan hinderen en kansen voor innovatie kan beperken.
• Generalisatie- en Aanpassingsuitdagingen: Kleine AI-modellen die via distillatie zijn gemaakt, worstelen vaak met nieuwe, ongeziene data. Dit gebeurt omdat het distillatieproces mogelijk niet volledig de capaciteit van het grotere model om te generaliseren, vastlegt. Als gevolg hiervan kunnen deze kleinere modellen goed presteren op vertrouwde taken, maar hebben ze vaak moeite met het omgaan met nieuwe situaties. Bovendien kan het aanpassen van gedistilleerde modellen aan nieuwe modaliteiten of datasets het opnieuw trainen of fijnafstemmen van het grotere model vereisen. Dit iteratieve proces kan complex en middelenintensief zijn, waardoor het moeilijk wordt om kleine AI-modellen snel aan te passen aan snel evoluerende technologische behoeften of nieuwe toepassingen.

De Kern van de Zaak

Terwijl het distilleren van grote AI-modellen in kleinere een praktische oplossing lijkt, blijft het afhankelijk van de hoge kosten van het trainen van grote modellen. Om echt vooruitgang te boeken in kleine AI, moeten we meer innovatieve en duurzame praktijken verkennen. Dit betekent het creëren van modellen die zijn ontworpen voor specifieke toepassingen, het verbeteren van trainingsmethoden om deze meer kostenefficiënt en energiedoeltreffend te maken, en het focussen op milieuduurzaamheid. Door deze strategieën na te streven, kunnen we AI-ontwikkeling op een manier bevorderen die zowel verantwoordelijk als gunstig is voor de industrie en de planeet.