Het benutten van silicium: Hoe in-house chips de toekomst van AI vormgeven

Kunstmatige intelligentie, net als elke software, is afhankelijk van twee fundamentele componenten: de AI-programma’s, vaak aangeduid als modellen, en de computationele hardware, of chips, die deze programma’s aandrijven. Tot nu toe is de focus in AI-ontwikkeling gericht op het verfijnen van de modellen, terwijl de hardware meestal werd gezien als een standaardcomponent die door derden werd geleverd. Onlangs is deze aanpak echter begonnen te veranderen. Grote AI-bedrijven zoals Google, Meta en Amazon zijn begonnen met de ontwikkeling van hun eigen AI-chips. De in-house ontwikkeling van aangepaste AI-chips kondigt een nieuwe era aan in de vooruitgang van AI. Dit artikel zal de redenen achter deze verschuiving in aanpak onderzoeken en de laatste ontwikkelingen in dit evoluerende gebied belichten.

Waarom in-house AI-chipontwikkeling?

De verschuiving naar in-house ontwikkeling van aangepaste AI-chips wordt gedreven door verschillende kritieke factoren, waaronder:

Toenemende vraag naar AI-chips

Het creëren en gebruiken van AI-modellen vereist aanzienlijke computationele middelen om grote hoeveelheden gegevens effectief te verwerken en nauwkeurige voorspellingen of inzichten te genereren. Traditionele computerchips zijn niet in staat om de computationele eisen te verwerken bij het trainen op triljoenen datapunten. Deze beperking heeft geleid tot de creatie van geavanceerde AI-chips die specifiek zijn ontworpen om te voldoen aan de hoge prestatie- en efficiëntie-eisen van moderne AI-toepassingen. Naarmate AI-onderzoek en -ontwikkeling verder groeien, groeit ook de vraag naar deze gespecialiseerde chips.
Nvidia, een leider in de productie van geavanceerde AI-chips en ver vooruit op zijn concurrenten, wordt geconfronteerd met uitdagingen omdat de vraag de productiecapaciteit ver overtreft. Deze situatie heeft geleid tot de wachtlijst voor Nvidia‘s AI-chips, die is verlengd tot verschillende maanden, een vertraging die blijft groeien omdat de vraag naar hun AI-chips toeneemt. Bovendien ondervindt de chipmarkt, die grote spelers zoals Nvidia en Intel omvat, moeilijkheden bij de productie van chips. Dit probleem ontstaat door hun afhankelijkheid van de Taiwanese fabrikant TSMC voor de assemblage van chips. Deze afhankelijkheid van één fabrikant leidt tot langere levertijden voor de productie van deze geavanceerde chips.

Het maken van AI-computing energie-efficiënt en duurzaam

De huidige generatie AI-chips, die zijn ontworpen voor zware computationele taken, hebben de neiging veel stroom te verbruiken en genereren aanzienlijke warmte. Dit heeft geleid tot aanzienlijke milieugevolgen voor het trainen en gebruiken van AI-modellen. Onderzoekers van OpenAI merken op dat: sinds 2012, de computationele kracht die nodig is om geavanceerde AI-modellen te trainen, elke 3,4 maand is verdubbeld, wat suggereert dat tegen 2040, de emissies van de Informatie- en Communicatietechnologie (ICT)-sector 14% van de mondiale emissies kunnen omvatten. Een andere studie toonde aan dat het trainen van één grote taalmodel tot 284.000 kg CO2 kan leiden, wat ongeveer gelijk is aan het energieverbruik van vijf auto’s tijdens hun levensduur. Bovendien wordt geschat dat het energieverbruik van datacenters tegen 2030 met 28 procent zal toenemen. Deze bevindingen benadrukken de noodzaak om een balans te vinden tussen AI-ontwikkeling en milieubescherming. Als reactie hierop investeren veel AI-bedrijven nu in de ontwikkeling van meer energie-efficiënte chips, met als doel AI-training en -operaties duurzamer en milieuvriendelijker te maken.

Chips aanpassen voor gespecialiseerde taken

Verschillende AI-processen hebben verschillende computationele eisen. Bijvoorbeeld, het trainen van diepe leermodellen vereist aanzienlijke computationele kracht en hoge doorvoer om grote datasets te verwerken en complexe berekeningen snel uit te voeren. Chips die zijn ontworpen voor training zijn geoptimaliseerd om deze bewerkingen te verbeteren, waardoor de snelheid en efficiëntie toenemen. Aan de andere kant vereist het inferentieproces, waarbij een model zijn verworven kennis toepast om voorspellingen te doen, snelle verwerking met minimale energieverbruik, vooral in edge-apparaten zoals smartphones en IoT-apparaten. Chips voor inferentie zijn ontworpen om de prestaties per watt te optimaliseren, waardoor een snelle responsiviteit en batterijbesparing worden gewaarborgd. Deze specifieke aanpassing van chipontwerpen voor trainings- en inferentietaken stelt elke chip in staat om precies te worden afgestemd op zijn beoogde rol, waardoor de prestaties over verschillende apparaten en toepassingen worden verbeterd. Deze specialisatie ondersteunt niet alleen robuustere AI-functionaliteiten, maar bevordert ook een grotere energie-efficiëntie en kostenefficiëntie in het algemeen.

Verlaging van de financiële lasten

De financiële last van computing voor AI-modeltraining en -operaties blijft aanzienlijk. OpenAI gebruikt bijvoorbeeld een uitgebreid supercomputer dat door Microsoft is gemaakt voor zowel training als inferentie sinds 2020. Het kostte OpenAI ongeveer $12 miljoen om zijn GPT-3-model te trainen, en de kosten stegen tot $100 miljoen voor het trainen van GPT-4. Volgens een rapport van SemiAnalysis, heeft OpenAI ongeveer 3.617 HGX A100-servers nodig, in totaal 28.936 GPUs, om ChatGPT te ondersteunen, waardoor de gemiddelde kosten per query ongeveer $0,36 bedragen. Met deze hoge kosten in gedachten, zoekt Sam Altman, CEO van OpenAI, naar aanzienlijke investeringen om een wereldwijd netwerk van AI-chipproductiefaciliteiten te bouwen, volgens een rapport van Bloomberg.

Controleren en innovatie

Derdepartij AI-chips komen vaak met beperkingen. Bedrijven die afhankelijk zijn van deze chips kunnen zich beperkt voelen door standaardoplossingen die niet volledig overeenkomen met hun unieke AI-modellen of -toepassingen. In-house chipontwikkeling stelt bedrijven in staat om aanpassingen te maken die zijn afgestemd op specifieke use-cases. Of het nu gaat om autonome auto’s of mobiele apparaten, het controleren van de hardware stelt bedrijven in staat om hun AI-algoritmen volledig te benutten. Aangepaste chips kunnen specifieke taken verbeteren, latency verminderen en de algehele prestaties verbeteren.

Laatste ontwikkelingen in AI-chipontwikkeling

Dit gedeelte gaat in op de laatste stappen die door Google, Meta en Amazon zijn gezet in de ontwikkeling van AI-chiptechnologie.

Google’s Axion Processors

Google heeft sinds de introductie van de Tensor Processing Unit (TPU) in 2015, gestaag vooruitgang geboekt in het veld van AI-chiptechnologie. Op basis van deze basis, heeft Google onlangs de Axion Processors gelanceerd, zijn eerste aangepaste CPUs die specifiek zijn ontworpen voor datacenters en AI-werklasten. Deze processors zijn gebaseerd op Arm-architectuur, bekend om hun efficiëntie en compacte ontwerp. De Axion Processors zijn gericht op het verbeteren van de efficiëntie van CPU-gebaseerde AI-training en -inferentie, terwijl de energoefficiëntie wordt gehandhaafd. Deze vooruitgang markeert ook een aanzienlijke verbetering in prestaties voor verschillende algemene werklasten, waaronder web- en app-servers, containerized microservices, open-source databases, in-memory caches, data-analyse-engines, mediabewerking en meer.

Meta’s MTIA

Meta zet een stap vooruit in AI-chiptechnologie met zijn Meta Training and Inference Accelerator (MTIA). Dit hulpmiddel is ontworpen om de efficiëntie van trainings- en inferentieprocessen te verbeteren, vooral voor ranking- en aanbevelingsalgoritmen. Onlangs heeft Meta uitgelegd hoe de MTIA een sleutelonderdeel is van zijn strategie om zijn AI-infrastructuur te versterken, los van GPUs. Aanvankelijk gepland voor lancering in 2025, heeft Meta beide versies van de MTIA al in productie genomen, wat een snellere ontwikkeling van zijn chipplannen aangeeft. Hoewel de MTIA momenteel is gericht op het trainen van bepaalde soorten algoritmen, heeft Meta als doel om de MTIA uit te breiden om het trainen van generatieve AI, zoals zijn Llama-taalmodellen, te omvatten.

Amazon’s Trainium en Inferentia

Sinds de introductie van zijn aangepaste Nitro-chip in 2013, heeft Amazon zijn AI-chipontwikkeling aanzienlijk uitgebreid. Het bedrijf heeft onlangs twee innovatieve AI-chips onthuld, Trainium en Inferentia. Trainium is specifiek ontworpen om AI-modeltraining te verbeteren en zal worden geïntegreerd in EC2 UltraClusters. Deze clusters, die tot 100.000 chips kunnen hosten, zijn geoptimaliseerd voor het trainen van fundamentele modellen en grote taalmodellen op een energie-efficiënte manier. Inferentia, aan de andere kant, is gericht op inferentietaken waarbij AI-modellen actief worden toegepast, met als doel om latency en kosten tijdens inferentie te verminderen om beter te voldoen aan de behoeften van miljoenen gebruikers die interactie hebben met AI-gebaseerde diensten.

De conclusie

De beweging naar in-house ontwikkeling van aangepaste AI-chips door grote bedrijven zoals Google, Microsoft en Amazon weerspiegelt een strategische verschuiving om de toenemende computationele behoeften van AI-technologieën aan te pakken. Deze trend benadrukt de noodzaak voor oplossingen die specifiek zijn afgestemd op het efficiënt ondersteunen van AI-modellen, waardoor aan de unieke eisen van deze geavanceerde systemen wordt voldaan. Naarmate de vraag naar AI-chips blijft groeien, zullen industrieleiders zoals Nvidia waarschijnlijk een aanzienlijke stijging van de marktwaarde zien, waardoor de vitale rol van aangepaste chips in de vooruitgang van AI-innovatie wordt onderstreept. Door hun eigen chips te creëren, verbeteren deze technologiebedrijven niet alleen de prestaties en efficiëntie van hun AI-systemen, maar bevorderen ze ook een duurzamere en kostenefficiëntere toekomst. Deze evolutie zet nieuwe standaarden in de industrie, waardoor technologische vooruitgang en concurrentievoordeel in een snel veranderende wereldmarkt worden gestimuleerd.