Infineon Technologies og d-Matrix samarbeider om lav-forsinkelses AI-infrastruktur

Infineon Technologies har annonsert et samarbeid med d-Matrix med fokus på å forbedre ytelsen og energieffektiviteten til AI-inferenssystemer brukt i moderne datacenter. Samarbeidet handler om d-Matrix’ Corsair AI-inferensakseleratorplattform og Infineons OptiMOS dual-fase strømmoduler, som er designet for å støtte høytetthets beregningsmiljøer for interaktive AI-arbeidsbelastninger.

Annonsen høydepunkter en voksende skifte innen AI-hardwareindustrien. Mens mye av infrastrukturboomet de siste årene har fokusert på å trene stadig større AI-modeller, utvider industrien nå raskt inn i inferens — prosessen med å kjøre modeller i sanntidsapplikasjoner som chatbots, agente AI-systemer, copiloter, søk, finansiell analyse og beslutningsstøtte for helse. Disse arbeidsbelastningene stiller andre krav til maskinvaren, spesielt når det gjelder forsinkelse, respons og energiforbruk.

Hvorfor AI-inferens blir et større slagfelt for maskinvare

AI-inferens har blitt ett av de raskest voksende segmentene av AI-infrastrukturmarkedet fordi interaktive AI-systemer krever svar på millisekundnivå fremfor sekunder. d-Matrix har posisjonert Corsair spesielt for disse arbeidsbelastningene, med vekt på ultra-lav forsinkelse og energieffektiv inferens for store språkmodeller og AI-agenter.

Ifølge d-Matrix ble Corsair designet rundt en digital i-minne beregningsarkitektur som skulle redusere minnehemsningene som ofte bremser ned generativ AI-inferens. Selskapet hevder at plattformen kan betydelig redusere forsinkelsen og forbedre gjennomstrømmingen i sammenligning med tradisjonelle GPU-sentriske inferenssystemer, spesielt for interaktive applikasjoner.

Samarbeidet med Infineon tar for seg en annen stadig mer kritisk utfordring: strømlevering.

Ettersom AI-tjenere øker i tetthet, har effektiv strømlevering til akseleratorer blitt en begrensning for skalerbar infrastruktur. Infineons OptiMOS TDM2254xx-moduler er designet for vertikale strømleveringsarkitekturer som hjelper med å redusere elektriske tap og forbedre strømtetthet inni kompakte serversystemer.

Skiftet mot sanntids AI-systemer

Selskapene rammet samarbeidet rundt oppblomstringen av “interaktiv AI”, hvor inferenssystemer må kontinuerlig generere utdata med ekstremt lav forsinkelse. Det inkluderer konversasjons AI, AI-agenter, sanntids resonneringssystemer og applikasjoner som krever rask token-generering fra store språkmodeller.

d-Matrix’ grunnlegger og CEO Sid Sheth sa at arkitekturen bak Corsair ble bygget spesielt for under-2 millisekunders token-forsinkelse, en metrik som har blitt stadig viktigere ettersom bedrifter flytter AI-systemer fra eksperimentering til kunde-orienterte miljøer.

Den bredere AI-industrien begynner også å erkjenne at inferens-infrastruktur kan utvikle seg annerledes enn trenings-infrastruktur. Mens GPU-klaster dominerte den første fasen av generativ AI-utvidelse, belønner inferens stadig arkitekturer som er optimalisert rundt minne-båndbredde, forsinkelse, nettverk og energieffektivitet fremfor ren beregningskraft alene.

Effektiv strømforbruk blir sentral for AI-skalerbarhet

En av de største begrensningene som hyperskalerte og AI-skytjenesteleverandører møter, er strømforbruk. AI-inferensarbeidsbelastninger kan kjøres kontinuerlig over millioner av forespørsler per dag, og operasjonell effektivitet er kritisk for driftskostnader.

Infineon har utvidet sin posisjon innen AI-infrastruktur gjennom halvlederteknologier basert på silisium, silisiumkarbid (SiC) og galliumnitrid (GaN). Selskapet har fokusert på å levere strømleveringslaget under AI-akseleratorer og server-infrastruktur.

Samarbeidet med d-Matrix reflekterer hvordan halvlederfirmaer blir tettere integrert med AI-akselerator-startups ettersom industrien søker etter alternativer til konvensjonelle GPU-baserte arkitekturer.

AI-infrastruktur utvides utenfor tradisjonelle GPU-er

Samarbeidet kommer også under en bredere bølge av eksperimentering i AI-hardware. En voksende rekke startups utvikler spesialiserte akseleratorer fokusert spesielt på inferens, minne-sentriske beregninger eller AI-nettverk.

d-Matrix har differensiert seg gjennom sin vekt på beregning-i-minne-teknologier og lav-forsinkelses inferenssystemer tilpasset generativ AI. Selskapet har også utvidet sin infrastrukturstrategi utenfor akselerator-chip alene, nylig med vekt på nettverk, komposabel infrastruktur og fullsystem-optimalisering for inferens-kluster.

Ettersom AI-applikasjoner blir stadig mer agente og interaktive, forventes infrastruktur-leverandører å legge større vekt på å redusere forsinkelse, senke energiforbruk og forbedre system-nivå-effektivitet over hele datacenter-stakken fremfor å fokusere bare på ren beregningskraft.