d-Matrix achiziționează Wallaroo pentru a orchestra inferența pe mai multe cipuri

d-Matrix a achiziționat Wallaroo.ai, un producător de software pentru implementarea și orchestrarea inferenței AI, într-o tranzacție pe care compania din Santa Clara a anunțat-o pe 3 august 2026. Achiziția aduce platforma, proprietatea intelectuală și personalul de ingineri ai Wallaroo în d-Matrix și reprezintă a doua achiziție a producătorului de cipuri în patru luni.

Raționamentul decurge din modul în care d-Matrix vinde siliciu. Acceleratoarele Corsair sunt proiectate pentru a rula lângă GPU-uri, în loc să le înlocuiască, preluând faza de decodare a unei cereri de model de limbaj, jumătatea legată de memorie care emite tokenuri una câte una, în timp ce GPU-urile gestionează preumplerea greoaie. A face ca această separare să funcționeze într-un cluster live este o sarcină software: ceva trebuie să decidă care cip primește care parte a fiecărei cereri, să transmită contextul acumulat între ele și să scaleze ambele niveluri independent pe măsură ce traficul se schimbă. Acest strat este ceea ce d-Matrix a cumpărat.

Ce aduce Wallaroo

Wallaroo vinde un runtime de servire și un plan de control care ambalează modele și le pun pe hardware x86, Arm și GPU în medii cloud, on-premise, edge și complet izolate, cu suport pentru runtime-uri LLM comune, inclusiv vLLM și SGLang. Echipele sale de ingineri, produs și marketing se alătură d-Matrix, care a menționat munca lor în arhitectura software, calcul de înaltă performanță și operațiuni Kubernetes.

Cele două companii descriau deja aceeași arhitectură. Într-o postare de inginerie din 16 martie 2026, fondatorul și directorul general al Wallaroo, Vid Jain, și doi colegi ai săi au prezentat cazul pentru separarea preumplerii de la decodare pe siliciu mixt. Traficul agențic, au scris ei, sosește în trei dimensiuni: aproximativ 84% cereri scurte de aproximativ 2.000 de tokenuri, aproximativ 15% în intervalul 8.000-64.000 de tokenuri și sub 1% la 128.000 de tokenuri sau mai mult. Ultima parte monopolizează timpul GPU și blochează tot ce este în așteptare în spatele său. Rutele conștiente de cache singure, au raportat autorii, au redus timpul minim de la primul token cu 75% în testele proprii pe trafic agențic.

Sid Sheth, fondatorul și directorul general al d-Matrix, a spus că clienții companiei i-au spus că cel mai mare obstacol “nu este doar performanța, ci și complexitatea operațională a ajungerii acolo”. Jain a spus că cei doi împărtășeau o viziune conform căreia inferența este la fel de mult o problemă de implementare pe cât este una de siliciu.

Două tranzacții în patru luni

d-Matrix a cumpărat părțile unui sistem de inferență pe care nu le-a construit. În aprilie 2026, a achiziționat afacerea de centre de date a GigaIO, preluând sistemul SuperNODE și memoria FabreX bazată pe PCIe, împreună cu o echipă de sisteme la nivel de rack din Carlsbad, California, în timp ce GigaIO a continuat în mod independent în computerele de margine. Corsair însuși a intrat în producție completă pe 9 iunie 2026, fabricat de Alchip pe nodul N6 al lui TSMC, utilizând chiplete de calcul în memorie SRAM pe substraturi organice cu memorie LP-DDR5 în loc de stive HBM și ambalaje CoWoS, în rafturi care rulează răcite cu aer.

Plata pentru aceasta a fost o investiție de 275 de milioane de dolari din seria C, închisă pe 12 noiembrie 2025, la o valoare de 2 miliarde de dolari, condusă de BullhoundCapital, Triatomic Capital și Temasek. Compania a adunat, de asemenea, parteneri în jurul platformei, inclusiv un parteneriat de infrastructură cu latență redusă cu Infineon.

Achiziționarea stratului de implementare devine mișcarea standard pentru oricine vinde computere non-Nvidia (NVDA ). Qualcomm a închis achiziția sa în acțiuni a startup-ului de compilatoare Modular (QCOM ) în iulie 2026, Nscale a cumpărat Anyscale pentru a se muta în susul stivei de calcul în aceeași lună, și Nebius a fost de acord să achiziționeze Eigen AI într-o tranzacție de 643 de milioane de dolari menită să consolideze infrastructura de inferență. Siliciul care are nevoie de un al doilea stivă de software pentru a fi util pierde în fața siliciului care vine cu unul.

Unde se testează cuplarea

Punctul de referință comercial până acum este Parasail, un nor de inferență care, pe 7 iulie 2026, a anunțat că implementează Corsair lângă flota sa de NVIDIA Hopper și Blackwell, trimițând preumplerea către GPU-uri și decodarea către acceleratoare de-a lungul unei rețele care se bazează pe peste 40 de centre de date din 15 țări. Tehnologia de rutare a kernel-ului Parasail efectuează dispatcharea acolo, care este exact funcția pe care d-Matrix o deține acum în interior.

Cazul de performanță se bazează pe rezultatele măsurate și modelate publicate de Gimlet Labs pe 11 martie 2026. Rulând gpt-oss-120b cu un model de 1,6 miliarde de parametri, firma a mutat pasul de decodare speculativă de pe GPU pe Corsair, în timp ce preumplerea și verificarea au rămas pe GPU, și a raportat cereri de la capăt la capăt de 2 până la 10 ori mai rapide la eficiență energetică egală. Gimlet atribuie câștigul benzii de 2 GB de SRAM pe cip și aproximativ 150 TB/s de lățime de bandă de memorie, care permite modelului de draft să producă tokenuri candidate rapid enough încât ghicirile respinse costă puțin. Unul dintre coautorii postării este directorul tehnic al d-Matrix, Sudeep Bhoja.

Corsair este acum livrat în volum către clienții prioritari, și d-Matrix angajează ingineri în mai multe specialități pe măsură ce cele două organizații se combină. Următorul cumpărător al unui raft mixt de GPU și acceleratoare va judeca după cât de repede un model trece de la evaluare la trafic, și acel ceas rulează acum pe software deținut de d-Matrix.

Sursele articolului original: gimletlabs.ai [1]