TBC lanceert Mischief, een neuronafgeleid AI-videomodel op basis van Wan 2.2

Bij het genereren van een korte AI-video kan het nodig zijn meerdere keren te wachten en opnieuw te proberen voordat er een bruikbare clip uitkomt. The Biological Computing Co. (TBC) probeert die cyclus te verkorten met een ongebruikelijke inspiratiebron: metingen van levende neuronen.

Het bedrijf lanceert op 30 oktober via fal.ai TBC Mischief, een beeld-naar-videomodel op basis van Wan 2.2. TBC zegt dat zijn versie vijf keer sneller video genereert tegen 80% lagere kosten dan het onderliggende model, en daarbij de uitvoerkwaliteit verbetert. Dit zijn vergelijkingen die het bedrijf zelf rapporteert; de aankondiging bevat geen onafhankelijke benchmark of voldoende testdetails om vast te stellen in hoeverre deze verbeteringen ook gelden voor andere workloads.

Het belangrijkste verschil zit in de manier waarop biologie in het systeem wordt toegepast. Mischief draait als software op conventionele AI-hardware. Klanten sturen geen prompts naar levende cellen en installeren geen biologische processors. TBC gebruikt neuronale activiteit tijdens het onderzoek en zet de opgedane inzichten vervolgens om in software die een bestaand model aanpast.

Wat TBC Mischief te bieden heeft

Volgens de aankondiging wordt Mischief beschikbaar via het beeld-naar-video-eindpunt van fal.ai, met gratis toegang tot en met 2 november. De aangekondigde prijs is $0,02 per seconde gegenereerde video. Tegen dat tarief kosten 100 clips van vijf seconden $10, exclusief eventuele andere workflowkosten.

TBC zegt ook dat Wonder Studios het model heeft getest in een productieproces waarin in ongeveer zes minuten 100 clips van vijf seconden werden gegenereerd. Dit is een gerapporteerd resultaat voor een batch, geen indicatie van de latentie die iedere individuele gebruiker kan verwachten. Gelijktijdige verwerking, resolutie, samplinginstellingen en de hardware waarop het model draait, kunnen allemaal van invloed zijn op de verhouding tussen de doorvoer van een batch en de tijd die nodig is voor één verzoek.

Voor creatieve teams is de praktische vraag of een sneller model per euro meer bruikbaar beeldmateriaal oplevert. Een lagere prijs voor het genereren weegt minder zwaar als er voor een opname veel nieuwe pogingen nodig zijn, de continuïteit verloren gaat of het resultaat de invoerafbeelding niet volgt. Mischief evalueren betekent daarom dat zowel de snelheid als het aantal geslaagde resultaten onder gelijkwaardige instellingen moet worden vergeleken.

Van neuronopnamen naar een softwarelaag

Op de website van TBC beschrijft het bedrijf een proces waarbij computationele uitdagingen worden gecodeerd in elektrische signalen, wordt gemeten hoe gekweekte neuronnetwerken daarop reageren en vervolgens principes worden afgeleid die in software kunnen worden toegepast. De commerciële aanpak bestaat uit een laag die na de training wordt toegevoegd rond diffusion-transformerblokken. Volgens TBC voegt die minder dan 0,1% toe aan het aantal parameters van het onderliggende model.

Die kleine toevoeging is belangrijk voor het uitgangspunt van het product: een bestaand model kan gericht worden aangepast zonder het te vervangen door een volledig nieuw basismodel. Het biologische component speelt een rol bij onderzoek en ontwikkeling; het uiteindelijke inferentiesysteem blijft digitaal.

De technische blogpost van TBC over Neural Dynamics Adapter geeft een concreter voorbeeld van eerder onderzoek. In dat onderzoek registreerde TBC gekweekte neurale activiteit met een hogedichtheidsarray van 4.096 elektroden, zette de opnamen om in numerieke representaties en voegde een lichtgewicht adapter toe aan een diffusiemodel. De studie gebruikte Oasis, een interactief Minecraft-videomodel, en niet het Wan 2.2-model waarop Mischief is gebaseerd.

Dat onderscheid is belangrijk. Een onderzoeksresultaat in één interactieve omgeving kan een methode helpen toelichten, maar bewijst niet hoe een afzonderlijk commercieel product presteert. In de blogpost over de adapter worden ook beperkingen beschreven, waaronder de beperkte testomgeving en resultaten die varieerden met de instellingen voor ruisonderdrukking. De bevindingen ondersteunen een aannemelijke technische ontwikkelingsrichting, maar de bredere toepasbaarheid moet nog worden aangetoond.

Biologie en conventionele optimalisatie kunnen samengaan

In een afzonderlijke blogpost van TBC, Een gevoel voor ruimte en tijd, wordt een andere manier onderzocht om inzichten uit de biologie toe te passen op videogeneratie. De onderzoeksarchitectuur combineert lokale ruimtelijke verwerking met een klein temporeel geheugen, waarbij neurale metingen richting geven aan de manier waarop informatie tussen frames wordt vastgehouden.

In de blogpost wordt ook expliciet vermeld dat de snelheidsverbeteringen in de implementatie voortkwamen uit een combinatie van modelaanpassingen en optimalisaties van de dienstverlening. Daaronder vielen het cachen van eerder verwerkte context, het beperken van de hoeveelheid samplingwerk en het efficiënt bedienen van meerdere sessies. De bevindingen hebben betrekking op een interactief videosysteem op basis van Oasis, niet op een rechtstreekse benchmark van Mischief.

Dit biedt nuttige context bij de lancering: biologisch onderzoek kan richting geven aan een modelarchitectuur, terwijl vertrouwde softwaretechnieken nog steeds bijdragen aan de efficiëntie van het uiteindelijke systeem. Als die bijdragen afzonderlijk in kaart worden gebracht, kunnen ontwikkelaars beter begrijpen welke verbeteringen afkomstig zijn van het model, welke van de inferentiestack en welke afhankelijk zijn van een specifieke implementatie.

Een weg naar bestaande AI-infrastructuur

Mischief volgt op de aankondiging in september van een samenwerking met Amazon Web Services door TBC. Daarin werd werk beschreven rond AWS Trainium en Amazon SageMaker AI, evenals een mogelijke route naar commerciële distributie van de neuronafgeleide software via AWS Marketplace. De eerdere samenwerking betrof tekst-naar-video; bij de lancering van Mischief ligt de nadruk op toegang tot beeld-naar-video via fal.ai.

De gebruikelijke strategie is om het onderzoek onder te brengen in infrastructuur die ontwikkelaars al gebruiken. Een model dat via een API toegankelijk is, is makkelijker te evalueren binnen een bestaande creatieve workflow dan een systeem waarvoor een nieuwe categorie fysieke hardware nodig is. Het biedt gebruikers ook een praktische mogelijkheid om de beweringen van het bedrijf te toetsen aan hun eigen afbeeldingen, prompts en acceptatiecriteria.

TBC, onder leiding van CEO en medeoprichter Alex Ksendzovsky en COO en medeoprichter Jon Pomeraniec, zegt ook nieuwere videomodellen, taalmodellen en fysieke AI te verkennen. Dat zijn ontwikkelrichtingen, geen mogelijkheden die met deze release al zijn gerealiseerd.

Wat de lancering betekenisvol zou maken

Het nuttigste vervolgonderzoek zou bestaan uit een reproduceerbare vergelijking met Wan 2.2, met identieke hardware en resolutie, openbaar gemaakte samplinginstellingen, afzonderlijke metingen van latentie en doorvoer, en een kwaliteitsbeoordeling op basis van een brede reeks invoer. Ook zijn energiemetingen nodig om lagere inferentiekosten in verband te brengen met claims over computationele efficiëntie.

Met de lancering van Mischief verschuift TBC zijn aanpak van onderzoeksbeschrijvingen naar een tool die ontwikkelaars daadwerkelijk kunnen testen. De betekenis op langere termijn hangt ervan af of de voordelen ook buiten geselecteerde demonstraties en bij verschillende modellen standhouden. Voorlopig komt het neer op een kleine softwareaanpassing, gebaseerd op biologische experimenten, die een bestaand videomodel goedkoper in gebruik moet maken.