Hedra lansează Model Factory pentru a antrena, implementa și îmbunătăți IA în condiții reale

Hedra lansează Model Factory, o platformă care integrează într-un singur flux de lucru infrastructura GPU, post-antrenarea modelelor, optimizarea inferenței și feedbackul din producție. Compania de cercetare susținută de a16z se adresează echipelor din robotică, producție, biologie și apărare care au nevoie de modele adaptate propriilor date și condiții de operare.

Propunerea răspunde unei lacune practice din domeniul IA pentru companii: un model general capabil este adesea doar punctul de plecare. Transformarea lui într-un sistem fiabil pentru video, date de la senzori sau acțiuni fizice poate necesita medii de antrenare personalizate, software specializat pentru implementare și o modalitate de a evalua fiecare versiune nouă în raport cu sarcina pe care trebuie să o îndeplinească.

Conectarea antrenării, implementării și feedbackului din producție

Model Factory combină medii sandbox GPU flexibile cu post-antrenarea realizată de cercetători Hedra care lucrează împreună cu agenți autonomi de IA. Clienții furnizează datele și motoarele de simulare; Hedra contribuie la construirea mediilor și seturilor de date pentru învățarea prin întărire, apoi optimizează modul în care rulează modelele rezultate.

„Autoîmbunătățirea recursivă schimbă deja modul în care sunt construite modelele de vârf”, a declarat Michael Lingelbach, fondatorul și CEO-ul Hedra. „Următorul pas este lumea reală, unde datele constau în video, date de la senzori și simulări. Hedra Model Factory le oferă echipelor din robotică, producție, biologie și apărare infrastructura necesară pentru a-și post-antrena și implementa propriile modele și pentru a le îmbunătăți în continuare.”

După implementare, cercetătorii analizează performanța în producție, reantrenează modelul și lansează versiuni doar după ce acestea trec evaluările clientului. Astfel, criteriile de evaluare devin esențiale pentru serviciu: un model mai rapid trebuie totuși să îndeplinească cerințele aplicației care îl folosește.

Hedra folosește termenul de autoîmbunătățire recursivă pentru a descrie procesul prin care cercetătorii și oamenii de știință autonomi din domeniul IA repetă experimentele, rundele de antrenare și metodele de optimizare. Procesul anunțat include cercetători și etape de evaluare din partea clienților, nu modificări automate fără restricții ale modelelor aflate în producție.

De ce IA fizică are nevoie de mai mult decât o infrastructură de servire a modelelor lingvistice

Mediul de execuție pentru modele ale lumii, sau WMR al Hedra oferă context suplimentar lansării. Compania îl descrie drept un motor de inferență cu nucleu deschis pentru modele de imagine, video, ale lumii și text, compatibil cu GPU-urile NVIDIA și AMD. Optimizările sale vizează pașii de difuzie, mecanismele de atenție între cadre și operațiile de codare și decodare, care pot consuma o parte considerabilă din timpul GPU în sarcinile vizuale.

În cazul unui model de tip viziune-limbaj-acțiune, inferența generează acțiuni, pe lângă interpretarea intrărilor. Într-un mediu simulat, atât modelul, cât și mediul care generează experiența de antrenare pot necesita acceleratoare. Prin urmare, îmbunătățirea fluxului de lucru presupune mai mult decât alegerea unui model: poate însemna reducerea transferului de date, adaptarea preciziei numerice la cerințele de calitate și coordonarea antrenării cu servirea.

Oferta Hedra de medii sandbox GPU le permite echipelor să folosească containere, dependențe și cod de model în medii izolate, în timp ce Hedra gestionează plasarea, scalarea și recuperarea hardware-ului. Echipele își pot modifica mediul de execuție, pot rula antrenarea sau evaluarea și pot exporta puncte de control și alte artefacte. Platforma de antrenare acceptă ajustarea fină supravegheată, adaptoare LoRA ușoare și învățarea prin întărire, cu evaluarea punctelor de control înainte de servire.

Editare de imagini de șase ori mai rapidă, în condiții specifice

Comunicatul de lansare prezintă editarea de imagini în Krea 3 drept un exemplu al procesului de optimizare. Hedra afirmă că a redus timpul de editare a unei imagini 2K de la aproximativ 22 de secunde la 3,6 secunde, folosind aceleași patru GPU-uri AMD Instinct MI355X, în mai puțin de o săptămână. Comparația combină optimizarea inferenței cu distilarea: versiunea de referință folosea modelul original bf16, cu 30 de pași de eșantionare, în timp ce versiunea mai rapidă folosea un model distilat cu 14 pași.

Această distincție contează, deoarece rezultatul reflectă schimbări atât în calculele modelului, cât și în software-ul care le execută. Este un rezultat raportat pentru o anumită sarcină și configurație, nu o accelerare generală de șase ori pentru fiecare model servit de platformă.

Documentația tehnică separată a Hedra despre Krea 3 prezintă operațiuni cu matrici de precizie redusă, mecanism de atenție personalizat, operațiuni fuzionate și transferuri între GPU-uri mutate pe motoare dedicate de copiere. Comparația de la 22,9 secunde la 3,3 secunde măsoară timpul de procesare al transformatorului de difuzie, nu latența cererii complete. Prin urmare, aceste cifre trebuie interpretate separat de rezultatul editării imaginilor din comunicatul de lansare.

Fizica din videoclipuri și adaptarea hardware-ului roboților

Hedra raportează, de asemenea, că a reantrenat H3 pentru a obține coerență fizică. Modelul reantrenat a obținut 34,9 la testul de referință Physics-IQ al Google DeepMind, față de 30,3 pentru H3 Max, cu o calitate vizuală pe care Hedra o descrie drept comparabilă. Potrivit companiei, o versiune distilată autonom a generat un clip de cinci secunde în mai puțin de trei secunde pe GPU-uri MI355X.

Într-un alt exemplu, un studiu de simulare a înlocuit dispozitivul de prindere al unui robot care rula o politică antrenată. Potrivit Hedra, potrivirea razei de acțiune și a punctului de prindere ale dispozitivului de înlocuire cu cele din imaginea surprinsă de camera de la încheietura robotului a readus rata de succes a sarcinii de la aproape zero la aproape 100%, fără reantrenare. Constatarea se referă la configurația de simulare descrisă; ea nu demonstrează că schimbările arbitrare de hardware pot fi gestionate fără antrenare suplimentară în cazul roboților utilizați în practică.

Aceste exemple indică aspecte diferite ale aceleiași probleme de inginerie: păstrarea comportamentului util, schimbând în același timp modul în care rulează un model sau sistemul în care funcționează.

Un serviciu de cercetare construit în jurul modelelor deținute de clienți

Model Factory este disponibil începând cu 10 noiembrie. Echipele pot colabora cu cercetătorii Hedra la modele personalizate, pot începe cu o capacitate flexibilă de testare în medii sandbox cu GPU-uri, fără angajamente pe termen lung, sau pot aduce un model existent pentru a-l utiliza cu motorul de inferență al platformei. Opțiunile de implementare includ infrastructura locală sau centrul de date al unui partener din apropiere, iar obiectivele de optimizare variază de la modele de acțiune în lume care funcționează mai rapid decât în timp real până la modele de tip viziune-limbaj-acțiune care încap pe dispozitive edge.

Compania afirmă că veniturile au crescut de 15 ori în cele 12 luni anterioare, deși nu a dezvăluit baza de venituri în anunț. Prezentarea generală a companiei descrie platforma ca pe o extensie a experienței sale în construirea și operarea propriilor modele vizuale.

Pentru clienți, propunerea de fond constă într-un ciclu integrat de inginerie: folosirea datelor din domeniu pentru a îmbunătăți un model, optimizarea acestuia pentru hardware și bugetul de latență, evaluarea rezultatului și valorificarea experienței din producție în următoarea iterație. Eficiența acestui proces va depinde atât de evaluările specifice sarcinii și de constrângerile implementării, cât și de viteza GPU-urilor care stau la bază.