TBC lanserer Mischief, en nevronbasert KI-videomodell bygget på Wan 2.2

Å generere en kort KI-video kan innebære gjentatte forsøk og venting før man får et brukbart klipp. The Biological Computing Co. (TBC) prøver å korte ned denne prosessen med en uvanlig inspirasjonskilde: målinger av levende nevroner.

Selskapet lanserer TBC Mischief, en bilde-til-video-modell basert på Wan 2.2, via fal.ai den 30. oktober. TBC hevder at deres versjon genererer video fem ganger raskere og til 80 % lavere kostnad enn den underliggende modellen, samtidig som kvaliteten på resultatet blir bedre. Dette er sammenligninger rapportert av selskapet; kunngjøringen inneholder ingen uavhengig referansemåling eller tilstrekkelig informasjon om testene til å fastslå hvordan forbedringene vil slå ut på tvers av ulike arbeidsbelastninger.

Det sentrale skillet handler om hvordan biologien inngår i systemet. Mischief kjører som programvare på konvensjonell KI-maskinvare. Kundene sender ikke forespørsler til levende celler og installerer heller ikke biologiske prosessorer. TBC bruker nevronaktivitet i forskningsprosessen og omsetter deretter det de lærer, til programvare som endrer en eksisterende modell.

Dette tilbyr TBC Mischief

Ifølge lanseringskunngjøringen blir Mischief tilgjengelig via bilde-til-video-endepunktet til fal.ai, med gratis tilgang til og med 2. november. Den annonserte prisen er 0,02 dollar per sekund generert video. Med denne prisen vil 100 klipp på fem sekunder koste 10 dollar, før eventuelle andre kostnader knyttet til arbeidsflyten.

TBC opplyser også at Wonder Studios testet modellen i en produksjonsarbeidsflyt som genererte 100 klipp på fem sekunder på omtrent seks minutter. Dette er et rapportert resultat for en hel serie med klipp, ikke et mål på ventetiden hver enkelt bruker bør forvente. Samtidighet, oppløsning, samplingsinnstillinger og maskinvaren som brukes til å levere tjenesten, kan alle påvirke forholdet mellom gjennomstrømningen for en serie og tiden det tar å behandle én forespørsel.

For kreative team er det praktiske spørsmålet om en raskere modell gir mer brukbart videomateriale per dollar. En lavere pris per generering betyr mindre hvis et opptak krever mange nye forsøk, mangler kontinuitet eller ikke følger inndatabildet. En evaluering av Mischief innebærer derfor å sammenligne både hastighet og vellykkede resultater under like innstillinger.

Fra nevronopptak til et programvarelag

På TBCs nettsted beskriver selskapet en prosess der beregningsmessige utfordringer kodes om til elektriske signaler, responsen fra dyrkede nevronnettverk måles, og prinsipper som kan implementeres i programvare, utledes. Den kommersielle tilnærmingen deres består av et lag som legges til etter trening av diffusjonstransformatorblokker. Ifølge selskapet øker dette modellens parameterantall med mindre enn 0,1 %.

Dette beskjedne tillegget er viktig for produktets idé: En eksisterende modell kan få en målrettet endring uten å bli erstattet av en helt ny grunnmodell. Den biologiske komponenten inngår i utforskningen og utviklingen; det ferdige systemet for inferens er fortsatt digitalt.

Selskapets tekniske innlegg om Neural Dynamics Adapter gir et mer konkret eksempel på den tidligere forskningen. I dette arbeidet registrerte TBC nevronaktivitet fra dyrkede celler ved hjelp av en matrise med høy tetthet og 4 096 elektroder, konverterte opptakene til numeriske representasjoner og integrerte en lettvektsadapter i en diffusjonsmodell. Studien brukte Oasis, en interaktiv Minecraft-videomodell, ikke Wan 2.2-modellen som Mischief bygger på.

Dette skillet er viktig. Et forskningsresultat fra ett interaktivt miljø kan bidra til å forklare en metode uten å bevise ytelsen til et separat kommersielt produkt. Innlegget om adapteren beskriver også begrensninger, blant annet et snevert testmiljø og resultater som varierte med innstillingene for støyfjerning. Det underbygger en plausibel teknisk retning, men viser ikke at metoden fungerer like godt i andre sammenhenger.

Biologi og konvensjonell optimalisering kan utfylle hverandre

Et eget innlegg fra TBC, En følelse av rom og tid, utforsker en annen måte å overføre observasjoner fra biologien til videogenerering på. Forskningsarkitekturen kombinerer lokal romlig prosessering med et lite tidsminne, og bruker nevronmålinger til å styre hvordan informasjon bevares fra bilde til bilde.

Innlegget presiserer også at forbedringene i kjørehastighet i produksjon skyldtes både modellendringer og optimaliseringer av tjenesten. Disse omfattet mellomlagring av tidligere behandlet kontekst, mindre samplingsarbeid og effektiv håndtering av flere økter. Funnene gjelder et interaktivt videosystem basert på Oasis, ikke en direkte referansemåling av Mischief.

Dette gir nyttig kontekst for lanseringen: Biologisk forskning kan påvirke utformingen av en modell, samtidig som velkjente programvareteknikker fortsatt bidrar til effektiviteten i det endelige systemet. Hvis bidragene skilles fra hverandre, blir det lettere for utviklere å forstå hvilke forbedringer som skyldes modellen, hvilke som kommer fra inferensstakken, og hvilke som avhenger av en bestemt utrulling.

En vei inn i eksisterende KI-infrastruktur

Mischief følger etter TBCs kunngjøring i september om et samarbeid med Amazon Web Services. I kunngjøringen beskrev selskapet arbeid med AWS Trainium og Amazon SageMaker AI, samt en plan for kommersiell distribusjon av den nevronbaserte programvaren via AWS Marketplace. Det tidligere samarbeidet gjaldt tekst-til-video, mens lanseringen av Mischief fokuserer på tilgang til bilde-til-video via fal.ai.

Den vanligste strategien er å integrere forskningen i infrastruktur som utviklere allerede bruker. En modell som er tilgjengelig via et API, er enklere å evaluere i en eksisterende kreativ arbeidsflyt enn et system som krever en ny type fysisk maskinvare. Det gir også brukerne en praktisk mulighet til å prøve selskapets påstander med egne bilder og instruksjoner, og opp mot egne akseptkriterier.

TBC, som ledes av administrerende direktør og medgrunnlegger Alex Ksendzovsky og driftsdirektør og medgrunnlegger Jon Pomeraniec, sier at selskapet også utforsker nyere videomodeller, språkmodeller og fysisk KI. Dette er utviklingsretninger, ikke funksjoner som er etablert gjennom denne lanseringen.

Hva som skal til for at lanseringen skal få betydning

Det mest nyttige neste beviset ville være en reproduserbar sammenligning med Wan 2.2: identisk maskinvare og oppløsning, offentliggjorte innstillinger for sampling, separat måling av forsinkelse og gjennomstrømning samt kvalitetsvurdering på tvers av et bredt utvalg inndata. Det ville også være nødvendig å måle energiforbruket for å knytte lavere inferenskostnader til påstandene om beregningseffektivitet.

Lanseringen av Mischief bringer TBCs tilnærming fra beskrivelser av forskning nærmere et verktøy som utviklere faktisk kan teste. Den langsiktige betydningen vil avhenge av om fordelene holder seg utenfor utvalgte demonstrasjoner og på tvers av ulike modeller. Foreløpig er det konkrete tilbudet en liten programvareendring, basert på biologiske eksperimenter, som skal gjøre en eksisterende videomodell billigere i bruk.