TBC julkaisee Mischiefin, Wan 2.2:een perustuvan neuroneista inspiraationsa saaneen videomallin

Lyhyen tekoälyvideon luominen voi tarkoittaa useiden yritysten odottamista ennen kuin käyttökelpoinen leike syntyy. The Biological Computing Co. (TBC) yrittää lyhentää tätä kehityssykliä ammentamalla inspiraatiota epätavallisesta lähteestä: elävistä neuroneista tehdyistä mittauksista.

Yhtiö julkaisee TBC Mischiefin, Wan 2.2:een perustuvan kuvasta videoksi -mallin, fal.ai-palvelussa 30. lokakuuta. TBC:n mukaan sen versio tuottaa videota viisi kertaa nopeammin ja 80 % pienemmillä kustannuksilla kuin pohjamalli, ja samalla tulosten laatu paranee. Nämä vertailut ovat yhtiön ilmoittamia; julkistuksessa ei esitetä riippumatonta vertailutestiä eikä riittävästi tietoja testeistä, jotta voitaisiin arvioida, miten hyödyt siirtyvät erilaisiin työkuormiin.

Keskeinen ero liittyy siihen, miten biologia tulee mukaan järjestelmään. Mischief toimii ohjelmistona tavanomaisella tekoälylaitteistolla. Asiakkaat eivät lähetä kehotteita eläville soluille eivätkä asenna biologisia prosessoreita. TBC hyödyntää tutkimuksessaan hermosolujen toimintaa ja muuntaa sitten sen pohjalta oppimansa ohjelmistoksi, joka muokkaa olemassa olevaa mallia.

Mitä TBC Mischief tarjoaa

Julkaisuilmoituksen mukaan Mischief on saatavilla fal.ai:n kuvasta videoksi -rajapinnan kautta, ja sen käyttö on maksutonta 2. marraskuuta asti. Ilmoitettu hinta on 0,02 dollaria tuotettua videosekuntia kohden. Tällä hinnalla 100 viiden sekunnin leikettä maksaisi 10 dollaria, muiden työnkulusta aiheutuvien kulujen lisäksi.

TBC kertoo myös, että Wonder Studios testasi mallia tuotantotyönkulussa, jossa tuotettiin noin kuudessa minuutissa 100 viiden sekunnin leikettä. Kyse on ilmoitetusta eräajon tuloksesta, ei mittauksesta siitä, millaista viivettä yksittäisen käyttäjän tulisi odottaa. Samanaikaisten pyyntöjen määrä, tarkkuus, näytteenottoasetukset ja palvelinlaitteisto voivat kaikki vaikuttaa siihen, miten eräajon läpimenoaika suhteutuu yhden pyynnön käsittelyyn kuluvaan aikaan.

Luoville tiimeille käytännön kysymys on, tuottaako nopeampi malli enemmän käyttökelpoista videomateriaalia käytettyä euroa kohden. Alhaisempi generointihinta merkitsee vähemmän, jos otos vaatii useita uusintayrityksiä, jatkuvuus katkeaa tai tulos ei vastaa syötekuvaa. Mischiefiä arvioitaessa onkin verrattava sekä nopeutta että onnistuneiden tulosten määrää samoilla asetuksilla.

Hermosolutallenteista ohjelmistokerrokseksi

TBC:n verkkosivustolla yhtiö kuvaa prosessin, jossa laskennalliset haasteet muunnetaan sähköisiksi signaaleiksi, viljeltyjen hermoverkkojen reaktioita mitataan ja niistä poimitaan periaatteita, jotka voidaan toteuttaa ohjelmistossa. Yhtiön kaupallinen lähestymistapa perustuu diffuusiomuuntajablokkien ympärille lisättävään jälkikoulutuskerrokseen, jonka se kertoo kasvattavan pohjamallin parametrimäärää alle 0,1 %.

Tämä pieni lisäys on tuotteen perusidean kannalta merkittävä: olemassa olevaa mallia voidaan muokata kohdennetusti ilman, että se korvataan kokonaan uudella perustamallilla. Biologinen osuus liittyy löytöihin ja kehitystyöhön; lopullinen päättelyjärjestelmä pysyy digitaalisena.

Yhtiön Neural Dynamics Adapter -teknisessä julkaisussa annetaan konkreettisempi esimerkki aiemmasta tutkimuksesta. Tässä työssä TBC tallensi viljeltyjen hermosolujen toimintaa tiheällä 4 096 elektrodin mittausjärjestelmällä, muunsi tallenteet numeerisiksi esityksiksi ja liitti diffuusiomalliin kevyen sovittimen. Tutkimuksessa käytettiin Oasista, interaktiivista Minecraft-videomallia, ei Mischiefin perustana olevaa Wan 2.2 -mallia.

Tällä erolla on merkitystä. Yhdessä interaktiivisessa ympäristössä saatu tutkimustulos voi auttaa selittämään menetelmää todistamatta kuitenkaan erillisen kaupallisen tuotteen suorituskykyä. Sovitinta käsittelevässä julkaisussa kuvataan myös rajoituksia, kuten testausympäristön suppeus ja tulosten vaihtelu kohinanpoistoasetusten mukaan. Tutkimus tukee uskottavaa teknistä kehityssuuntaa, mutta laajempi yleistettävyys on vielä osoitettava.

Biologia ja perinteinen optimointi voivat täydentää toisiaan

Toisessa TBC:n julkaisussa, Avaruuden ja ajan hahmottaminen, tarkastellaan toista tapaa siirtää biologian havaintoja videon generointiin. Tutkimusarkkitehtuurissa yhdistyvät paikallinen tilankäsittely ja pieni ajallinen muisti, ja hermosolumittauksia käytetään ohjaamaan sitä, miten tietoa säilytetään ruudusta toiseen.

Julkaisussa todetaan selvästi myös, että käyttöönotetut nopeusparannukset saatiin yhdistämällä malliin tehtyjä muutoksia palvelun optimointeihin. Näihin kuuluivat aiemmin käsitellyn kontekstin välimuistiin tallentaminen, näytteenoton työmäärän vähentäminen ja useiden istuntojen tehokas palveleminen. Tulokset koskevat Oasis-pohjaista interaktiivista videojärjestelmää, eivätkä ne ole Mischiefin suora vertailutesti.

Tämä tarjoaa hyödyllistä taustaa julkaisulle: biologinen tutkimus voi ohjata mallin arkkitehtuuria, vaikka tutut ohjelmistotekniikat vaikuttavat edelleen lopullisen järjestelmän tehokkuuteen. Näiden tekijöiden erottelu auttaisi kehittäjiä ymmärtämään, mitkä parannukset johtuvat mallista, mitkä päättelypinosta ja mitkä riippuvat tietystä käyttöympäristöstä.

Reitti osaksi nykyistä tekoälyinfrastruktuuria

Mischief jatkaa TBC:n syyskuussa ilmoittaman Amazon Web Services -yhteistyön pohjalta. Ilmoituksessa esiteltiin työtä, jossa hyödynnetään AWS Trainiumia ja Amazon SageMaker AI:ta, sekä suunnitelmaa tuoda neuroneista johdettu ohjelmisto kaupalliseen jakeluun AWS Marketplacen kautta. Aiempi yhteistyö koski tekstistä videoksi -tuotantoa; Mischiefin julkaisu keskittyy kuvasta videoksi -käyttöön fal.ai-palvelun kautta.

Yleisenä strategiana on tuoda tutkimus osaksi infrastruktuuria, jota kehittäjät jo käyttävät. API:n kautta käytettävää mallia on helpompi arvioida osana olemassa olevaa luovaa työnkulkua kuin järjestelmää, joka edellyttää uudenlaista fyysistä laitteistoa. Näin käyttäjät saavat myös käytännön mahdollisuuden testata yrityksen väitteitä omilla kuvillaan, kehotteillaan ja hyväksymiskriteereillään.

Toimitusjohtaja ja toinen perustaja Alex Ksendzovskyn sekä operatiivinen johtaja ja toinen perustaja Jon Pomeraniecin johdolla TBC kertoo tutkivansa myös uudempia videomalleja, kielimalleja ja fyysistä tekoälyä. Nämä ovat kehityssuuntia, eivät tässä julkaisussa osoitettuja valmiuksia.

Mikä tekisi julkaisusta merkittävän

Hyödyllisintä seuraavaa näyttöä olisi toistettavissa oleva vertailu Wan 2.2:een: sama laitteisto ja resoluutio, ilmoitetut näytteenottoasetukset, erikseen mitattu viive ja läpimenonopeus sekä laatu, jota arvioidaan laajalla syötevalikoimalla. Myös energiankulutusta olisi mitattava, jotta pienempi päättelykustannus voitaisiin yhdistää laskennallista tehokkuutta koskeviin väitteisiin.

Mischiefin julkaisu vie TBC:n lähestymistapaa tutkimuskuvauksista kohti työkalua, jota kehittäjät voivat todella testata. Sen pitkän aikavälin merkitys riippuu siitä, säilyvätkö edut valikoitujen esittelyjen ulkopuolella ja eri malleissa. Toistaiseksi konkreettisena ehdotuksena on biologisten kokeiden pohjalta tehty pieni ohjelmistomuutos, jonka tavoitteena on tehdä olemassa olevan videomallin käytöstä taloudellisempaa.