TBC lancerer Mischief, en neuronderiveret AI-videomodel bygget på Wan 2.2

Det kan kræve gentagne forsøg og en del ventetid at generere en kort AI-video, før der kommer et brugbart klip ud af det. The Biological Computing Co. (TBC) forsøger at forkorte den proces med en usædvanlig inspirationskilde: målinger af levende neuroner.

Virksomheden lancerer TBC Mischief, en billed-til-video-model baseret på Wan 2.2, via fal.ai den 30. oktober. TBC siger, at deres version genererer video fem gange hurtigere og til 80 % lavere omkostninger end den underliggende model, samtidig med at kvaliteten af resultatet forbedres. Det er sammenligninger rapporteret af virksomheden; meddelelsen indeholder ikke et uafhængigt benchmark eller tilstrækkelige testoplysninger til at fastslå, hvordan forbedringerne vil gøre sig gældende på tværs af forskellige arbejdsbelastninger.

Den afgørende forskel er, hvordan biologien indgår i systemet. Mischief kører som software på konventionel AI-hardware. Kunder sender ikke prompts til levende celler og installerer heller ikke biologiske processorer. TBC bruger neuronal aktivitet i sin forskningsproces og omsætter derefter det, virksomheden lærer, til software, der ændrer en eksisterende model.

Hvad TBC Mischief tilbyder

Ifølge lanceringsmeddelelsen bliver Mischief tilgængelig via fal.ais endepunkt til billed-til-video med gratis adgang frem til den 2. november. Den annoncerede pris er 0,02 $ pr. sekund genereret video. Med den pris vil 100 klip på fem sekunder koste 10 $, før eventuelle andre udgifter til arbejdsgangen.

TBC siger også, at Wonder Studios testede modellen i en produktionsarbejdsgang, hvor der blev genereret 100 klip på fem sekunder på cirka seks minutter. Det er et rapporteret resultat for en samlet batch og ikke et mål for den latenstid, som den enkelte bruger bør forvente. Samtidighed, opløsning, samplingindstillinger og hardware til drift kan alle påvirke forholdet mellem gennemløbet for en batch og den tid, det tager at behandle en enkelt anmodning.

For kreative teams er det praktiske spørgsmål, om en hurtigere model giver flere brugbare optagelser pr. dollar. En lavere pris for generering betyder mindre, hvis et skud kræver mange gentagelser, mister kontinuiteten eller ikke følger inputbilledet. En evaluering af Mischief kræver derfor, at man sammenligner både hastighed og vellykkede resultater under tilsvarende indstillinger.

Fra neuronoptagelser til et softwarelag

På TBC’s websted beskriver virksomheden en proces, hvor beregningsmæssige udfordringer omsættes til elektriske signaler, reaktionerne fra dyrkede neurale netværk måles, og principper, der kan implementeres i software, udledes. Virksomhedens kommercielle tilgang er et eftertræningslag omkring diffusions-transformerblokke, som ifølge TBC øger antallet af parametre i den underliggende model med mindre end 0,1 %.

Denne lille tilføjelse er central for produktets idé: En eksisterende model kan få en målrettet ændring uden at blive erstattet af en helt ny grundmodel. Den biologiske del indgår i forskning og udvikling; det efterfølgende inferenssystem er fortsat digitalt.

Virksomhedens tekniske indlæg om Neural Dynamics Adapter giver et mere konkret eksempel på den tidligere forskning. I dette arbejde registrerede TBC dyrket neural aktivitet ved hjælp af et højdensitetsarray med 4.096 elektroder, omdannede optagelserne til numeriske repræsentationer og indarbejdede en letvægtsadapter i en diffusionsmodel. Studiet brugte Oasis, en interaktiv Minecraft-videomodel, og ikke Wan 2.2-modellen, som Mischief bygger på.

Den forskel er vigtig. Et forskningsresultat i ét interaktivt miljø kan være med til at forklare en metode uden at bevise, hvordan et separat kommercielt produkt præsterer. Indlægget om adapteren beskriver også begrænsninger, herunder det snævre testmiljø og resultater, der varierede med indstillingerne for støjfjernelse. Det peger på en plausibel teknisk retning, men den bredere generaliserbarhed er endnu ikke påvist.

Biologi og konventionel optimering kan supplere hinanden

Et andet indlæg fra TBC, En fornemmelse af rum og tid, undersøger en anden måde at overføre observationer fra biologi til videogenerering på. Forskningsarkitekturen kombinerer lokal rumlig behandling med en lille tidslig hukommelse og bruger neurale målinger til at styre, hvordan information bevares fra billede til billede.

Indlægget gør det også klart, at de hastighedsforbedringer, der blev opnået i den udrullede løsning, skyldtes en kombination af modelændringer og optimeringer af driften. De omfattede caching af tidligere behandlet kontekst, mindre samplingarbejde og effektiv håndtering af flere sessioner. Resultaterne vedrører et interaktivt videosystem baseret på Oasis og er ikke et direkte benchmark af Mischief.

Det giver nyttig kontekst for lanceringen: Biologisk forskning kan påvirke en modelarkitektur, samtidig med at velkendte softwareteknikker fortsat bidrager til det endelige systems effektivitet. Hvis bidragene blev adskilt, ville det hjælpe udviklere med at forstå, hvilke forbedringer der skyldes modellen, hvilke der kommer fra inferensstakken, og hvilke der afhænger af en bestemt implementering.

En vej ind i den eksisterende AI-infrastruktur

Mischief følger efter TBC’s meddelelse i september om et samarbejde med Amazon Web Services. Meddelelsen beskrev et samarbejde om AWS Trainium, Amazon SageMaker AI og en plan om kommerciel distribution af virksomhedens neuronderiverede software via AWS Marketplace. Det tidligere samarbejde handlede om tekst-til-video, mens Mischiefs lancering fokuserer på adgang til billed-til-video via fal.ai.

Den gennemgående strategi er at føre forskningen ind i den infrastruktur, udviklerne allerede bruger. En model, der er tilgængelig via en API, er lettere at evaluere i en eksisterende kreativ arbejdsgang end et system, der kræver en ny type fysisk hardware. Det giver også brugerne en konkret mulighed for at afprøve virksomhedens påstande med deres egne billeder, prompts og acceptkriterier.

TBC, der ledes af administrerende direktør og medstifter Alex Ksendzovsky samt driftsdirektør og medstifter Jon Pomeraniec, siger, at virksomheden også undersøger nyere videomodeller, sprogmodeller og fysisk AI. Det er udviklingsretninger, ikke egenskaber, der er dokumenteret med denne lancering.

Hvad der ville gøre lanceringen betydningsfuld

Det mest nyttige næste skridt ville være en reproducerbar sammenligning med Wan 2.2: identisk hardware og opløsning, offentliggjorte samplingindstillinger, separat måling af latenstid og gennemløbshastighed samt vurdering af kvaliteten på tværs af et bredt udvalg af input. Der ville også være brug for energimålinger for at knytte de lavere inferensomkostninger til påstandene om beregningseffektivitet.

Lanceringen af Mischief flytter TBC’s tilgang fra forskningsbeskrivelser hen imod et værktøj, som udviklere rent faktisk kan afprøve. Dets betydning på længere sigt afhænger af, om fordelene holder uden for udvalgte demonstrationer og på tværs af forskellige modeller. Indtil videre er det konkrete forslag en mindre softwareændring, der bygger på biologiske eksperimenter og har til formål at gøre en eksisterende videomodel mere økonomisk at bruge.