TBC wprowadza Mischief — model AI do generowania wideo z obrazów, inspirowany neuronami i oparty na Wan 2.2

Wygenerowanie krótkiego filmu za pomocą AI może oznaczać wielokrotne czekanie na kolejne próby, zanim uda się uzyskać użyteczny klip. Biological Computing Co. (TBC) próbuje skrócić ten proces, czerpiąc inspirację z nietypowego źródła: pomiarów aktywności żywych neuronów.

30 października firma wprowadza TBC Mischief — model przekształcający obrazy w wideo, oparty na Wan 2.2, dostępny za pośrednictwem fal.ai. TBC twierdzi, że jej wersja generuje wideo pięć razy szybciej i przy kosztach niższych o 80% niż model bazowy, a jednocześnie zapewnia lepszą jakość wyników. Są to porównania podane przez firmę; w ogłoszeniu nie przedstawiono niezależnego testu porównawczego ani wystarczających szczegółów testów, by ustalić, jak te korzyści przełożą się na różne rodzaje obciążeń.

Kluczowa różnica dotyczy tego, jak biologia jest wykorzystywana w tym systemie. Mischief działa jako oprogramowanie na konwencjonalnym sprzęcie do AI. Klienci nie wysyłają poleceń do żywych komórek ani nie instalują biologicznych procesorów. TBC wykorzystuje aktywność neuronów w procesie badawczym, a następnie przekłada zdobytą wiedzę na oprogramowanie modyfikujące istniejący model.

Co oferuje TBC Mischief

Zgodnie z ogłoszeniem o premierze Mischief będzie dostępny za pośrednictwem punktu końcowego fal.ai do przekształcania obrazów w wideo, a dostęp do niego będzie bezpłatny do 2 listopada. Ogłoszona cena wynosi $0,02 za sekundę wygenerowanego wideo. Przy tej stawce 100 klipów trwających po pięć sekund kosztowałoby $10, nie licząc innych kosztów związanych z procesem.

TBC twierdzi również, że Wonder Studios przetestowało model w ramach procesu produkcyjnego, w którym wygenerowano 100 klipów trwających po pięć sekund w około sześć minut. Jest to podany wynik przetwarzania partii materiałów, a nie miara opóźnienia, którego powinien oczekiwać każdy użytkownik. Równoległość, rozdzielczość, ustawienia próbkowania i sprzęt obsługujący model mogą wpływać na zależność między przepustowością przetwarzania partii a czasem potrzebnym na obsłużenie pojedynczego żądania.

Dla zespołów kreatywnych najważniejsze jest to, czy szybszy model pozwala uzyskać więcej użytecznego materiału wideo za każdego dolara. Niższa cena generowania ma mniejsze znaczenie, jeśli ujęcie wymaga wielu ponownych prób, traci ciągłość albo nie odpowiada obrazowi wejściowemu. Ocena Mischief powinna więc obejmować porównanie zarówno szybkości, jak i liczby udanych wyników przy równoważnych ustawieniach.

Od rejestracji aktywności neuronów do warstwy oprogramowania

Na stronie internetowej TBC firma opisuje proces polegający na kodowaniu problemów obliczeniowych w postaci sygnałów elektrycznych, mierzeniu reakcji hodowanych sieci neuronowych i wyodrębnianiu zasad, które można wdrożyć w oprogramowaniu. Jej podejście komercyjne polega na dodaniu warstwy potreningowej wokół bloków transformera dyfuzyjnego. Według firmy zwiększa ona liczbę parametrów modelu bazowego o mniej niż 0,1%.

To niewielkie rozszerzenie ma istotne znaczenie dla założeń produktu: istniejący model można zmodyfikować w ukierunkowany sposób, bez zastępowania go zupełnie nowym modelem bazowym. Komponent biologiczny służy odkrywaniu i rozwijaniu rozwiązań; wynikowy system wnioskowania pozostaje cyfrowy.

Wpis techniczny firmy dotyczący Neural Dynamics Adapter przedstawia bardziej konkretny przykład jej wcześniejszych badań. W ramach tych prac TBC rejestrowała aktywność hodowanych neuronów za pomocą matrycy o dużej gęstości, wyposażonej w 4 096 elektrod, przekształcała te zapisy w reprezentacje numeryczne i włączała lekki adapter do modelu dyfuzyjnego. W badaniu wykorzystano Oasis, interaktywny model wideo do gry Minecraft, a nie model Wan 2.2, na którym opiera się Mischief.

To rozróżnienie ma znaczenie. Wynik badania w jednym interaktywnym środowisku może pomóc wyjaśnić daną metodę, ale nie dowodzi skuteczności odrębnego produktu komercyjnego. We wpisie o nakładce opisano również ograniczenia, w tym wąski zakres środowiska testowego oraz wyniki, które różniły się w zależności od ustawień odszumiania. Badanie wskazuje na wiarygodny kierunek prac inżynieryjnych, ale jego szerszą przydatność trzeba jeszcze wykazać.

Biologia i konwencjonalna optymalizacja mogą się uzupełniać

W osobnym wpisie TBC, Poczucie przestrzeni i czasu, omówiono inny sposób przenoszenia obserwacji z biologii do generowania wideo. Opisana architektura badawcza łączy lokalne przetwarzanie przestrzenne z niewielką pamięcią czasową, wykorzystując pomiary aktywności neuronów do wskazania, jak zachowywać informacje między kolejnymi klatkami.

We wpisie wyraźnie zaznaczono również, że osiągnięte w działającym systemie przyspieszenie było efektem zarówno zmian w modelu, jak i optymalizacji jego obsługi. Obejmowały one buforowanie wcześniej przetworzonego kontekstu, ograniczenie liczby operacji próbkowania oraz wydajną obsługę wielu sesji. Opisane wyniki dotyczą interaktywnego systemu wideo opartego na Oasis, a nie bezpośredniego testu porównawczego Mischief.

To przydatny kontekst dla premiery: badania biologiczne mogą dostarczyć wskazówek przy projektowaniu architektury modelu, a jednocześnie na wydajność systemu końcowego nadal mogą wpływać dobrze znane techniki programistyczne. Rozdzielenie tych czynników pomogłoby deweloperom zrozumieć, które korzyści wynikają z samego modelu, które ze stosu wnioskowania, a które zależą od konkretnego wdrożenia.

Droga do istniejącej infrastruktury AI

Premiera Mischief następuje po wrześniowym ogłoszeniu przez TBC współpracy z Amazon Web Services. Zapowiedziano wówczas prace obejmujące AWS Trainium i Amazon SageMaker AI, a także plany komercyjnej dystrybucji oprogramowania wywodzącego się z badań nad neuronami za pośrednictwem AWS Marketplace. Wcześniejsza współpraca dotyczyła generowania wideo z tekstu; premiera Mischief koncentruje się na dostępie do narzędzia przekształcającego obrazy w wideo za pośrednictwem fal.ai.

Wspólną strategią jest wdrażanie wyników badań w infrastrukturze, z której deweloperzy już korzystają. Model dostępny przez API łatwiej ocenić w ramach istniejącego procesu twórczego niż system wymagający nowej klasy sprzętu. Daje to również użytkownikom praktyczną możliwość sprawdzenia twierdzeń firmy na własnych obrazach, promptach i kryteriach akceptacji.

TBC, kierowane przez CEO i współzałożyciela Alexa Ksendzovsky’ego oraz COO i współzałożyciela Jona Pomeranieca, informuje, że bada również nowsze modele wideo, modele językowe i fizyczną sztuczną inteligencję. Są to kierunki rozwoju, a nie możliwości potwierdzone w ramach tej premiery.

Co sprawiłoby, że premiera miałaby znaczenie

Najbardziej przydatnym kolejnym dowodem byłoby powtarzalne porównanie z Wan 2.2: przy identycznym sprzęcie i rozdzielczości, z ujawnionymi ustawieniami próbkowania oraz osobnymi pomiarami opóźnienia i przepustowości, a także oceną jakości na szerokim zestawie danych wejściowych. Potrzebne byłyby również pomiary zużycia energii, aby powiązać niższy koszt wnioskowania z twierdzeniami o wydajności obliczeniowej.

Premiera Mischief przenosi podejście TBC od opisów badań ku narzędziu, które deweloperzy mogą rzeczywiście przetestować. Jego długofalowe znaczenie będzie zależeć od tego, czy zalety okażą się trwałe poza wybranymi demonstracjami i w przypadku różnych modeli. Na razie konkretna propozycja sprowadza się do niewielkiej modyfikacji oprogramowania, opartej na eksperymentach biologicznych, której celem jest obniżenie kosztów korzystania z istniejącego modelu wideo.