DeepMind introduceert JEST-algoritme: het maken van AI-modeltraining sneller, goedkoper en milieuvriendelijker

Generatieve AI maakt enorme sprongen, waarbij gebieden zoals geneeskunde, onderwijs, financiën, kunst, sport enzovoort worden getransformeerd. Deze vooruitgang komt voornamelijk voort uit de verbeterde mogelijkheid van AI om te leren van grotere datasets en complexere modellen met miljarden parameters te bouwen. Hoewel deze vooruitgang significante wetenschappelijke ontdekkingen heeft gedreven, nieuwe zakelijke kansen heeft gecreëerd en industriële groei heeft gestimuleerd, komen ze met een hoge prijs, vooral als we de financiële en milieueffecten van het trainen van deze grote modellen overwegen. De leer-algoritmen hebben aanzienlijke rekenkracht nodig om generatieve AI-modellen met grote datasets te trainen, wat leidt tot hoge energieverbruik en een aanzienlijke koolstofvoetafdruk.

Terwijl eerdere inspanningen om generatieve AI duurzaam te maken zich hebben gericht op het verbeteren van de efficiëntie van hardware voor AI-training en het ontwikkelen van kleinere modellen met minder parameters, heeft Google DeepMind een innovatieve aanpak gekozen, gericht op het verbeteren van de efficiëntie van de generatieve AI-trainingsalgoritme. Zij hebben een nieuw algoritme ontwikkeld, JEST (Joint Example Selectie), dat 13 keer sneller werkt en tien keer energie-efficiënter is dan huidige technieken.

In dit artikel onderzoeken we de uitdagingen van AI-training en hoe JEST deze problemen aanpakt. Bovendien onderzoeken we de bredere implicaties en toekomstige onderzoeksrichtingen voor het JEST-algoritme, waarbij we de potentieel impact ervan voorbij het verbeteren van snelheid, kosten-efficiëntie en milieuvriendelijkheid in AI-training overwegen.

Uitdagingen van AI-training: hoge kosten en milieueffecten

Het trainen van generatieve AI-modellen stelt significante uitdagingen, vanwege de hoge kosten en aanzienlijke milieueffecten.

• Financiële kosten: Het trainen van generatieve AI-modellen is een kostbare onderneming. Recent onderzoek toont aan dat het trainen van één groot model, zoals OpenAI’s GPT-3 met 175 miljard parameters, ongeveer 4,6 miljoen dollar kan kosten. Het trainen van ChatGPT-4 wordt geschat op ongeveer 100 miljoen dollar door OpenAI. Deze uitgaven zijn voornamelijk toe te schrijven aan de aanzienlijke rekenkracht, uitgebreide gegevensverwerking en verlengde trainingsduur die nodig zijn.
• Energieverbruik: Generatieve AI-trainingsprocessen zijn extreem energieverbruikend. Het trainen van deze modellen vereist duizenden GPUs en verbruikt meerdere gigawattuur aan energie, waardoor het proces extreem energieverbruikend is. Datacentra, die de rekeninfrastructuur voor AI-training huisvesten, verbruiken ongeveer 200 terawattuur (TWh) aan elektriciteit per jaar, ongeveer 1% van de wereldwijde elektriciteitsvraag. Een rapport van McKinsey voorspelt dat het energieverbruik van datacentra in de VS kan stijgen van 17 gigawatt (GW) in 2017 tot 35 GW in 2030, waardoor extra capaciteit nodig is die gelijk is aan de output van negen Hoover-dammen.
• Koolstofvoetafdruk: Het hoge energieverbruik van het trainen van generatieve AI-modellen draagt aanzienlijk bij aan de uitstoot van broeikasgassen, waardoor de klimaatverandering wordt verergerd. Een studie van de Universiteit van Massachusetts Amherst toonde aan dat het trainen van een groot AI-model evenveel koolstofdioxide kan uitstoten als vijf auto’s in hun hele levensduur. Specifiek kan het trainen van één AI-model meer dan 626.000 pond CO2 uitstoten, gelijk aan de koolstofvoetafdruk van 315 trans-Amerikaanse vluchten.

Deze uitdagingen komen voornamelijk voort uit twee hoofdbronnen: de afhankelijkheid van energieverbruikende rekenhardware en de inefficiëntie van huidige trainingsalgoritmen. Terwijl de AI-gemeenschap vooruitgang heeft geboekt in het ontwikkelen van energie-efficiënte hardware, moet er meer nadruk worden gelegd op het creëren van slimmere algoritmen die gegevensgebruik kunnen optimaliseren en trainingsduur kunnen verminderen. Google’s onlangs geïntroduceerde JEST-algoritme is baanbrekend onderzoek naar het maken van trainingsalgoritmen slimmer. Door slim de gegevens te selecteren die ertoe doen, verbetert JEST de efficiëntie van AI-training aanzienlijk, waardoor het mogelijk wordt om generatieve AI-modellen op een meer duurzame en kostenefficiënte manier te trainen.

Het begrijpen van het JEST-algoritme

JEST is een leer-algoritme ontworpen om multimodale generatieve AI-modellen efficiënter te trainen. Om te begrijpen hoe JEST werkt, moet je AI-training zien als het oplossen van een complex puzzel, waarbij elke puzzelstuk (gegevenspunt) helpt om het complete beeld (AI-model) te bouwen. JEST werkt als een ervaren puzzelaar, waardoor het proces efficiënter wordt. Net zoals een puzzelaar de meest belangrijke en onderscheidende stukken kiest, identificeert en selecteert JEST de meest waardevolle gegevensbatches uit de dataset, waardoor elke batch een cruciale rol speelt in AI-ontwikkeling.

JEST gebruikt een kleiner AI-model om de kwaliteit van de gegevensbatches te evalueren. Deze batches worden vervolgens gerangschikt op basis van hun effectiviteit in modeltraining. Met deze zorgvuldig geselecteerde batches, assembleert JEST ze strategisch om het model te trainen. Net zoals een puzzelaar puzzelstukken arrangeert om efficiëntie en coherentie te maximaliseren, versnelt JEST het trainingsproces aanzienlijk door prioriteit te geven aan en te selecteren van de meest informatieve batches.

Een belangrijk onderdeel van JEST’s aanpak is multimodale contrastieve leren. Deze techniek richt zich op het leren van de overeenkomst tussen verschillende gegevenstypen, zoals tekst en afbeeldingen. JEST gebruikt een multimodale contrastieve leren-methode om de effectiviteit van een multimodaal gegevensmonster in modeltraining te evalueren. Naast de effectiviteit van individuele gegevensmonsters, evalueert JEST ook de collectieve leesbaarheid van gegevensmonsters om een kleine batch gegevens te selecteren uit een grotere “superbatch”. Dit proces helpt JEST om batches te selecteren en prioriteit te geven die uitdagingen en rijke leerervaringen bieden.

Kijkend naar de toekomst: JEST voorbij snellere, goedkopere, groenere AI-training

Terwijl we de toekomstige implicaties van JEST (Joint Example Selectie) onderzoeken, is het duidelijk dat de bijdragen van JEST verder gaan dan alleen het versnellen van AI-training, het verlagen van kosten en het bevorderen van milieuvriendelijkheid. Hier onderzoeken we hoe JEST kan blijven verbeteren en transformeren in het veld van generatieve AI:

• Verbeterde modelprestaties en nauwkeurigheid: JEST’s innovatieve aanpak van gegevensselectie en prioriteitstelling leidt tot snellere trainingsduur en verbeterde modelprestaties. Door zich te concentreren op de meest informatieve gegevensbatches, zorgt JEST ervoor dat de AI-modellen getraind worden op hoge kwaliteit invoer, waardoor hun nauwkeurigheid en robuustheid verbeteren. Dit voordeel is cruciaal in toepassingen waar precisie en betrouwbaarheid van het grootste belang zijn, zoals medische diagnostiek, financiële voorspellingen en autonome systemen.
• Identificeren en mitigeren van vooroordelen in gegevens: AI is gevoelig voor vooroordeel in datasets waar bepaalde groepen of perspectieven ondervertegenwoordigd of verkeerd voorgesteld zijn. JEST’s gegevensselectie-aanpak omvat het evalueren van de kwaliteit en informativiteit van gegevensbatches. Door prioriteit te geven aan diverse en representatieve gegevensmonsters, kan JEST helpen om AI-systemen te trainen op een meer evenwichtige dataset, waardoor vooroordelen in trainingsgegevens worden verminderd. Bijvoorbeeld, in AI-toepassingen in de gezondheidszorg, kan JEST gegevensbatches selecteren die verschillende demografische factoren omvatten, waardoor medische diagnostische modellen getraind worden op diverse patiëntpopulaties. Deze selectie vermindert het risico van vooroordelen die onevenredig kunnen beïnvloeden bepaalde groepen op basis van ras, geslacht of sociaal-economische status.
• Faciliteren van innovatie en onderzoek: Door de rekenbronnen en tijd die nodig zijn voor AI-modeltraining aanzienlijk te verminderen, verlaagt JEST de toegangsdrempel voor onderzoekers en innovators. Deze toegankelijkheid bevordert een levendiger ecosysteem van AI-ontwikkeling, waarin kleinere teams en organisaties kunnen experimenteren met en geavanceerde AI-oplossingen kunnen implementeren. Bovendien kunnen de efficiëntiegewinnen die JEST biedt, worden gebruikt om nieuwe frontiers in AI te verkennen, zoals nieuwe architectuur, geavanceerde algoritmen en ethische AI-kaders.
• Bevorderen van inclusieve AI-ontwikkeling: AI-ontwikkeling moet diverse perspectieven en invoer omvatten om effectief vooroordelen en ethische zorgen te mitigeren. JEST’s mogelijkheid om gegevens te selecteren op basis van hun informatieve waarde en representativiteit, moedigt inclusieve praktijken aan in dataset-curatie. AI-ontwikkelaars kunnen ervoor zorgen dat JEST effectief vooroordelen en ethische overwegingen aanpakt door multidisciplinaire teams te betrekken bij het definiëren van gegevensselectiecriteria, waaronder experts in ethiek, sociale wetenschappen en domeinspecifieke gebieden. Deze samenwerkingsaanpak bevordert een meer inclusieve en verantwoorde ontwikkeling van AI-technologieën.

De bodemlijn

DeepMind’s introductie van het JEST-algoritme vertegenwoordigt een significante stap voorwaarts in generatieve AI-training. Door trainingsprocessen aanzienlijk te versnellen en energieverbruik te verminderen, biedt JEST aanzienlijke kostenvoordeel en adresseert milieuzorgen die verbonden zijn aan AI-ontwikkeling. Bovendien heeft JEST het potentieel om modelnauwkeurigheid te verbeteren, vooroordelen in gegevens te mitigeren, innovatie te bevorderen en inclusieve AI-ontwikkeling aan te moedigen. De voortdurende verfijning en toepassing van JEST zijn gericht op het herdefiniëren van de toekomst van AI, waarbij men streeft naar efficiëntere, duurzamere en ethisch verantwoorde AI-oplossingen.