TBC lansează Mischief, un model video de IA derivat din neuroni, construit pe Wan 2.2

Generarea unui videoclip scurt cu ajutorul IA poate presupune așteptarea și repetarea încercărilor până când rezultă un clip utilizabil. The Biological Computing Co. (TBC) încearcă să scurteze acest ciclu pornind de la o sursă neobișnuită de inspirație: măsurători ale activității neuronilor vii.

Compania lansează TBC Mischief, un model care transformă imagini în videoclipuri, bazat pe Wan 2.2, prin fal.ai, pe 30 octombrie. TBC susține că versiunea sa generează videoclipuri de cinci ori mai rapid, la un cost cu 80% mai mic decât modelul de bază, îmbunătățind totodată calitatea rezultatelor. Aceste comparații sunt raportate de companie; anunțul nu prezintă un etalon independent și nici suficiente detalii despre teste pentru a stabili în ce măsură aceste câștiguri se vor menține pentru diferite tipuri de sarcini.

Diferența esențială ține de modul în care intervine biologia în sistem. Mischief rulează ca software pe hardware convențional pentru IA. Clienții nu trimit solicitări către celule vii și nu instalează procesoare biologice. TBC folosește activitatea neuronală în procesul de cercetare, apoi transformă ceea ce învață în software care modifică un model existent.

Ce oferă TBC Mischief

Potrivit anunțului de lansare, Mischief va fi disponibil prin punctul de acces fal.ai pentru transformarea imaginilor în videoclipuri, cu acces gratuit până pe 2 noiembrie. Prețul anunțat este de 0,02 USD pentru fiecare secundă de videoclip generat. La acest tarif, 100 de clipuri de câte cinci secunde ar costa 10 USD, fără a include alte cheltuieli asociate fluxului de lucru.

TBC mai afirmă că Wonder Studios a testat modelul într-un flux de producție care a generat 100 de clipuri de câte cinci secunde în aproximativ șase minute. Acesta este un rezultat raportat pentru un lot de clipuri, nu o măsură a latenței la care ar trebui să se aștepte fiecare utilizator în parte. Concurența, rezoluția, setările de eșantionare și hardware-ul folosit pentru servire pot influența relația dintre debitul de procesare a unui lot și timpul necesar pentru o singură solicitare.

Pentru echipele creative, întrebarea practică este dacă un model mai rapid produce mai mult material video utilizabil pentru fiecare dolar cheltuit. Un preț mai mic pentru generare contează mai puțin dacă o secvență necesită multe încercări, își pierde continuitatea sau nu respectă imaginea de intrare. Prin urmare, evaluarea Mischief presupune compararea atât a vitezei, cât și a rezultatelor reușite, în condiții echivalente.

De la înregistrările neuronale la un strat software

Pe site-ul TBC, compania descrie un proces care presupune codificarea unor provocări de calcul sub formă de semnale electrice, măsurarea răspunsurilor rețelelor neuronale cultivate și extragerea unor principii ce pot fi implementate în software. Abordarea sa comercială constă într-un strat de post-antrenare aplicat blocurilor de transformatoare de difuzie, care, potrivit companiei, adaugă mai puțin de 0,1% la numărul de parametri ai modelului de bază.

Această adăugire redusă este esențială pentru premisa produsului: un model existent poate primi o modificare specifică fără a fi înlocuit cu un model de bază complet nou. Componenta biologică ține de descoperire și dezvoltare; sistemul de inferență rezultat rămâne digital.

Articolul tehnic despre Neural Dynamics Adapter al companiei oferă un exemplu mai concret al cercetărilor sale anterioare. În acea lucrare, TBC a înregistrat activitatea neuronală a unor culturi folosind o matrice de înaltă densitate cu 4.096 de electrozi, a transformat înregistrările în reprezentări numerice și a integrat un adaptor ușor într-un model de difuzie. Studiul a folosit Oasis, un model interactiv de videoclipuri Minecraft, nu modelul Wan 2.2 pe care se bazează Mischief.

Această distincție este importantă. Un rezultat de cercetare obținut într-un mediu interactiv poate ajuta la explicarea unei metode, fără a demonstra performanța unui produs comercial diferit. Articolul despre adaptor descrie și limitări, inclusiv mediul restrâns de testare și rezultate care au variat în funcție de setările de eliminare a zgomotului. Lucrarea susține că direcția tehnică este plauzibilă, însă generalizarea la scară mai largă rămâne de demonstrat.

Biologia și optimizarea convențională pot funcționa împreună

O altă postare TBC, Un simț al spațiului și timpului, explorează o modalitate diferită de a transfera observațiile din biologie în generarea video. Arhitectura de cercetare combină procesarea spațială locală cu o memorie temporală de mici dimensiuni, folosind măsurători neuronale pentru a ghida modul în care informațiile sunt păstrate de la un cadru la altul.

Postarea precizează, de asemenea, că îmbunătățirile de viteză ale sistemului implementat au combinat modificări ale modelului cu optimizări ale servirii. Printre acestea s-au numărat stocarea în cache a contextului procesat anterior, reducerea volumului de eșantionare și servirea eficientă a mai multor sesiuni. Constatările vizează un sistem interactiv de videoclipuri bazat pe Oasis, nu un test comparativ direct al Mischief.

Acest lucru oferă un context util pentru lansare: cercetarea biologică poate contribui la arhitectura unui model, în timp ce tehnicile software consacrate pot îmbunătăți în continuare eficiența sistemului final. Separarea acestor contribuții i-ar ajuta pe dezvoltatori să înțeleagă ce câștiguri provin de la model, care se datorează stivei de inferență și care depind de o anumită implementare.

O cale de integrare în infrastructura IA existentă

Mischief vine după anunțul din septembrie privind colaborarea cu Amazon Web Services al TBC. Anunțul prezenta activități care implicau AWS Trainium și Amazon SageMaker AI, precum și o posibilă distribuire comercială a software-ului derivat din neuroni prin AWS Marketplace. Colaborarea anterioară viza generarea de videoclipuri din text; lansarea Mischief se concentrează pe accesul la transformarea imaginilor în videoclipuri prin fal.ai.

Strategia comună este de a integra cercetarea în infrastructura pe care dezvoltatorii o folosesc deja. Un model accesibil prin API este mai ușor de evaluat într-un flux de lucru creativ existent decât un sistem care necesită o nouă categorie de hardware fizic. De asemenea, le oferă utilizatorilor o ocazie practică de a verifica afirmațiile companiei folosind propriile imagini, prompturi și criterii de acceptare.

TBC, condusă de directorul general și cofondatorul Alex Ksendzovsky și de directorul operațional și cofondatorul Jon Pomeraniec, spune că explorează și modele video mai noi, modele lingvistice și IA fizică. Acestea sunt direcții de dezvoltare, nu capabilități confirmate prin această lansare.

Ce ar lansarea semnificativă

Cele mai utile dovezi suplimentare ar fi o comparație reproductibilă cu Wan 2.2: hardware și rezoluție identice, setări de eșantionare comunicate, latență și debit măsurate separat și calitate evaluată pe un set larg de intrări. Ar fi necesare și măsurători ale consumului de energie pentru a corela costul mai mic al inferenței cu afirmațiile privind eficiența computațională.

Lansarea Mischief mută abordarea TBC din zona descrierilor de cercetare către un instrument pe care dezvoltatorii îl pot testa efectiv. Semnificația sa pe termen lung va depinde de măsura în care avantajele se confirmă și în afara demonstrațiilor selectate, precum și pe modele diferite. Deocamdată, propunerea concretă constă într-o mică modificare software, inspirată de experimente biologice, care urmărește să facă mai economică utilizarea unui model video existent.