Hedra lanserer Model Factory for å trene, distribuere og forbedre KI for bruk i den virkelige verden

Hedra lanserer Model Factory, en plattform som samler GPU-infrastruktur, ettertrening av modeller, optimalisering av inferens og tilbakemeldinger fra produksjon i én arbeidsflyt. Forskningsselskapet, som har støtte fra a16z, retter seg mot team innen robotikk, industri, biologi og forsvar som trenger modeller tilpasset egne data og driftsforhold.

Tilbudet retter seg mot et praktisk problem innen bedrifts-KI: En god generell modell er ofte bare et utgangspunkt. Å gjøre den om til et pålitelig system for video, sensordata eller fysiske handlinger kan kreve tilpassede treningsmiljøer, spesialisert programvare for utrulling og en måte å evaluere hver nye versjon opp mot oppgaven den skal utføre.

Kobler sammen trening, utrulling og tilbakemeldinger fra produksjon

Model Factory kombinerer fleksible GPU-sandkasser med ettertrening utført av Hedras forskere i samarbeid med autonome KI-agenter. Kundene bidrar med data og simuleringsmotorer; Hedra hjelper til med å bygge miljøer og datasett for forsterkningslæring, og optimaliserer deretter hvordan modellene som utvikles, kjøres.

«Rekursiv selvforbedring er allerede i ferd med å endre hvordan de mest avanserte modellene utvikles», sier Michael Lingelbach, grunnlegger og administrerende direktør i Hedra. «Neste steg er den virkelige verden, der dataene består av video, sensorer og simuleringer. Hedra Model Factory gir team innen robotikk, industri, biologi og forsvar infrastrukturen de trenger for å ettertrene og distribuere sine egne modeller og fortsette å forbedre dem.»

Etter utrullingen analyserer forskerne ytelsen i produksjon, trener modellen på nytt og lanserer versjoner først når de består kundens evalueringer. Dermed blir evalueringskriteriene sentrale for tjenesten: En raskere modell må fortsatt oppfylle kravene til applikasjonen den brukes i.

Hedra bruker begrepet rekursiv selvforbedring om forskere og autonome KI-forskere som prøver ut ulike eksperimenter, treningskjøringer og optimaliseringsmetoder. Den annonserte prosessen omfatter forskere og evalueringsporter hos kundene, ikke ubegrensede automatiske endringer av produksjonsmodeller.

Hvorfor fysisk KI trenger mer enn en serveringsplattform for språkmodeller

Hedras kjøretidsmiljø for verdensmodeller, eller WMR, gir ytterligere kontekst for lanseringen. Selskapet beskriver det som en inferensmotor med åpen kjerne for bilde-, video-, verdens- og tekstmodeller, med støtte for NVIDIA- og AMD-GPU-er. Optimaliseringene retter seg mot diffusjonstrinn, oppmerksomhet på tvers av bilder og kodings- og dekodingsoperasjoner, som kan bruke mye GPU-tid i visuelle arbeidsbelastninger.

For en syns-, språk- og handlingsmodell innebærer inferens at den både tolker inndata og produserer handlinger. I et simulert miljø kan både modellen og miljøet som genererer treningserfaringene dens, kreve akseleratorer. Å forbedre arbeidsflyten handler derfor om mer enn å velge en modell: Det kan innebære å redusere dataflytting, tilpasse numerisk presisjon til kvalitetskravene og samordne trening med inferenskjøring.

Selskapets GPU-sandkassetilbud lar team ta med containere, avhengigheter og modellkode inn i isolerte miljøer, mens Hedra håndterer plassering, skalering og gjenoppretting av maskinvare. Teamene kan endre kjøremiljøet sitt, kjøre trening eller evaluering og eksportere sjekkpunkter og artefakter. Treningsplattformen støtter veiledet finjustering, lette LoRA-adaptere og forsterkningslæring, med evaluering av sjekkpunkter før utrulling.

Seks ganger raskere bilderedigering – under bestemte forutsetninger

I lanseringsmeldingen trekker Hedra fram bilderedigering med Krea 3 som ett eksempel på optimaliseringsprosessen. Hedra sier at selskapet reduserte tiden for å redigere et 2K-bilde fra omtrent 22 sekunder til 3,6 sekunder på de samme fire AMD Instinct MI355X-GPU-ene, på under en uke. Sammenligningen kombinerer optimalisering av inferens med destillering: Referanseversjonen brukte den opprinnelige bf16-modellen med 30 samplingstrinn, mens den raskere versjonen brukte en destillert modell med 14 trinn.

Dette skillet er viktig fordi resultatet gjenspeiler endringer både i modellens beregninger og i programvaren som kjører den. Det er et rapportert resultat for en bestemt arbeidsbelastning og konfigurasjon, ikke en generell seksdobling av hastigheten for alle modeller som kjøres på plattformen.

Hedras separate tekniske gjennomgang av Krea 3-utviklingen beskriver matriseoperasjoner med lavere presisjon, tilpasset oppmerksomhetsberegning, sammenslåtte operasjoner og overføring mellom GPU-er via dedikerte kopieringsmotorer. Sammenligningen på 22,9 sekunder mot 3,3 sekunder måler tiden for diffusjonstransformeren, ikke forsinkelsen for hele forespørselen. Tallene bør derfor ses separat fra resultatet for bilderedigering som ble oppgitt i lanseringsmeldingen.

Videofysikk og tilpasning til robotmaskinvare

Hedra rapporterer også at H3 ble trent på nytt for å oppnå fysisk konsistens. Den nye modellen fikk 34,9 på Google DeepMinds Physics-IQ-benchmark, mot 30,3 for H3 Max, med det Hedra beskriver som sammenlignbar visuell kvalitet. Ifølge selskapet gjenga en autonomt destillert versjon et klipp på fem sekunder på under tre sekunder på MI355X-GPU-er.

I et annet eksempel erstattet en simuleringsstudie gripeanordningen på en robot som kjørte en innlært policy. Hedra sier at det å tilpasse rekkevidden og gripepunktet til den nye gripeanordningen i håndleddskameraets synsfelt gjenopprettet oppgavesuksessen fra nær null til nær 100 % uten ny trening. Funnene gjelder det rapporterte simuleringsoppsettet; de viser ikke at vilkårlige maskinvareendringer kan håndteres uten ytterligere trening på roboter i drift.

Disse eksemplene peker på ulike sider ved det samme tekniske problemet: å bevare nyttig atferd samtidig som man endrer hvordan en modell kjører, eller systemet den opererer i.

En forskningstjeneste bygget rundt modeller kundene eier

Model Factory blir tilgjengelig fra og med 10. november. Team kan samarbeide med Hedras forskere om spesialtilpassede modeller, komme i gang med fleksibel GPU-kapasitet i et sandkassemiljø uten langsiktige forpliktelser eller ta med en eksisterende modell til inferensmotoren. Blant distribusjonsalternativene er lokal infrastruktur eller et nærliggende datasenter hos en partner. Optimaliseringsmålene spenner fra modeller for handlinger i den fysiske verden som kjører raskere enn sanntid, til modeller for syn, språk og handling som får plass på kantenheter.

Selskapet oppgir at inntektene økte 15 ganger i løpet av de foregående 12 månedene, men oppga ikke inntektsgrunnlaget i kunngjøringen. Oversikten over selskapet presenterer plattformen som en videreføring av erfaringen med å bygge og drifte selskapets egne visuelle modeller.

For kundene er hovedløftet en sammenhengende utviklingssløyfe: Bruk domenedata til å forbedre en modell, optimaliser den for maskinvaren og forsinkelsesbudsjettet, evaluer resultatet og bruk erfaringene fra produksjon i neste iterasjon. Hvor godt dette fungerer, vil avhenge av de oppgavespesifikke evalueringene og begrensningene ved utrullingen, like mye som av hastigheten til de underliggende GPU-ene.