Oracle Cloud Infrastructure gaat TPU-versnellers van Google aanbieden

Oracle en Google maakten op 27 oktober 2026 tijdens Oracle AI World in Las Vegas bekend dat de Tensor Processing Units (TPU’s) van Google beschikbaar komen via Oracle Cloud Infrastructure (OCI). In de aankondiging van Oracle wordt OCI omschreven als het eerste hyperscale-cloudplatform buiten Google dat Google TPU’s aanbiedt; de beschikbaarheid is gepland voor kalenderjaar 2027.

De rol van Oracle in de infrastructuur

OCI levert de stroomvoorziening, koeling en datacenternetwerken die nodig zijn om Google TPU’s op grote schaal binnen de infrastructuur van Oracle in te zetten. Oracle en Google zeggen dat de TPU’s geschikt zijn voor het trainen en verder trainen van grote modellen, waaronder dichte modellen en mixture-of-expertsmodellen (MoE), en voor inferentie in productie voor toepassingen met redeneervermogen, AI-agenten en lange contexten. Klanten kunnen binnen OCI Google TPU’s kiezen die zijn geoptimaliseerd voor hun workloads, prestatievereisten en kostendoelstellingen.

‘Verschillende AI-workloads stellen verschillende eisen aan rekenkracht’, zegt Mahesh Thiagarajan, president van Oracle Cloud Infrastructure. ‘Door Google TPU’s naar OCI te brengen, krijgen klanten in één cloud toegang tot meerdere toonaangevende AI-rekenarchitecturen.’

Amin Vahdat, senior vicepresident en hoofdtechnoloog voor AI en infrastructuur bij Google, zegt dat de volgende generatie AI een breed scala aan rekenkracht nodig heeft. Volgens hem geeft de komst van Google TPU’s naar OCI meer organisaties toegang tot de technologie en meer flexibiliteit bij het ontwikkelen en uitvoeren van hun meest complexe AI-toepassingen.

De bedrijven omschrijven Google TPU’s als speciaal ontwikkelde versnellers die samen met open software zijn ontworpen om de volledige AI-levenscyclus aan te kunnen: van geavanceerde modeltraining en inferentie op grote schaal tot de meerstapsredenering die AI-agenten vereisen. Ze zeggen dat het TPU-portfolio voortbouwt op meer dan tien jaar ontwikkeling van speciaal ontworpen AI-chips. De architectuur is volgens hen bedoeld om de AI-verwerkingscapaciteit per watt elektriciteit te maximaliseren, met snelle toegang tot modelgegevens en snelle communicatie tussen chips.

TPU-hardware van de achtste generatie

Oracle en Google beschrijven de TPU van de achtste generatie als twee architecturen die elk voor een specifieke taak zijn ontworpen: TPU 8t voor training en TPU 8i voor inferentie. Volgens hen levert TPU 8t per pod bijna drie keer zoveel rekenprestaties als de vorige generatie, terwijl de ontwikkelcycli voor geavanceerde modellen worden teruggebracht van maanden tot weken. TPU 8i is ontworpen voor het iteratieve werk van veel gespecialiseerde agenten.

Google lichtte het ontwerp van de achtste generatie toe in een technische verdieping die op 22 april 2026 werd gepubliceerd. Volgens dat bericht gebruikt TPU 8t een 3D-torusnetwerktopologie met 9.600 chips in één superpod. Ook bevat de chip een SparseCore: een gespecialiseerde versneller die de onregelmatige geheugentoegangspatronen van embedding-opzoekingen afhandelt, terwijl de matrixvermenigvuldigingseenheid de matrixberekeningen uitvoert. De chip introduceert native 4-bits drijvendekommaprocessing (FP4), waarmee de doorvoercapaciteit van de matrixvermenigvuldigingseenheid volgens Google verdubbelt. Ook beschikt de chip over twee keer zoveel bandbreedte voor opschaling op de interchipverbinding als de vorige generatie.

Voor netwerken en opslag zegt Google dat het Virgo Network, een schaalbaar netwerk op basis van switches met een groot aantal poorten, de netwerkbandbreedte van het datacenter voor TPU 8t-training tot vier keer vergroot. Met de nieuwe mogelijkheden TPUDirect RDMA en TPUDirect Storage kunnen gegevens worden verplaatst tussen TPU-geheugen, netwerkinterfacekaarten en beheerde opslag, zonder tussenkomst van host-CPU’s. Volgens Google is de opslagtoegang daardoor tien keer sneller dan bij training op TPU’s van de zevende generatie, Ironwood.

TPU 8i is geoptimaliseerd voor training na de initiële training en redenering met hoge gelijktijdigheid. De chip bevat drie keer zoveel on-chip SRAM als de vorige generatie, waardoor tijdens het decoderen van lange contexten een grotere KV-cache volledig op de chip kan worden opgeslagen, zegt Google. Een Collectives Acceleration Engine verlaagt de latentie op de chip van collectieve bewerkingen met een factor vijf. Een voor serving geoptimaliseerde topologie, Boardfly genaamd, verbindt maximaal 1.152 chips via volledig verbonden borden en groepen. Pods kunnen worden opgeschaald tot 36 groepen die via optische circuitswitches met elkaar zijn verbonden. Voor een pod met 1.024 chips verlaagt Boardfly volgens Google de netwerkdiameter van 16 hops in een vergelijkbare 3D-torus tot zeven, wat voor workloads die intensieve communicatie vereisen een latentieverbetering van maximaal 50% oplevert.

In de gepubliceerde specificaties van Google staat TPU 8t vermeld met 216 GB high-bandwidth memory (HBM), 128 MB on-chip SRAM, een piekprestatie van 12,6 petaflops bij FP4 en een geheugenbandbreedte van 6.528 GB/s. TPU 8i heeft volgens de specificaties 288 GB HBM, 384 MB SRAM, een piekprestatie van 10,1 petaflops bij FP4 en een bandbreedte van 8.601 GB/s. Beide systemen bevatten Arm-gebaseerde Axion CPU-headers, die volgens Google de knelpunten bij de host wegnemen die ontstaan door latentie bij de gegevensvoorbereiding.

Google zegt dat TPU 8t bij training op grote schaal tot 2,7 keer betere prestaties per dollar biedt dan Ironwood. TPU 8i levert volgens het bedrijf bij lage-latentiedoelen voor grote MoE-modellen tot 80% betere prestaties per dollar. Beide chips bieden tot twee keer betere prestaties per watt. Het bedrijf zegt ook dat het met zijn JAX-framework en Pathways-software gedistribueerde training kan opschalen naar meer dan 1 miljoen TPU-chips in één cluster. Daarnaast kan het Virgo Network meer dan 134.000 TPU 8t-chips verbinden met een niet-blokkerende bisectionele bandbreedte van maximaal 47 petabit per seconde.

Huidig aanbod en beschikbaarheid

De TPU-productpagina van Google Cloud vermeldt dat zowel TPU 8t als TPU 8i binnenkort beschikbaar komen. De Ironwood TPU van de zevende generatie, met 9.216 vloeistofgekoelde chips per pod en een rekenvermogen van 42,5 exaflops, staat vermeld als algemeen beschikbaar, naast de Trillium van de zesde generatie. Google omschrijft TPU’s als speciaal ontworpen toepassingsspecifieke geïntegreerde schakelingen die zijn Gemini-modellen en vlaggenschipproducten zoals Search, Photos en Maps aandrijven, met native softwareondersteuning voor PyTorch en JAX en de vLLM-engine voor inferentie.

Google TPU’s op OCI zijn beschikbaar in kalenderjaar 2027. De capaciteit wordt in de loop van meerdere jaren geleidelijk opgeschaald om aan de behoeften van klanten te voldoen, aldus de bedrijven.