TBC запускає Mischief — модель ШІ для відео на основі Wan 2.2, створену з використанням нейронів

Створення короткого відео за допомогою ШІ може вимагати багатьох повторних спроб, перш ніж вдасться отримати придатний ролик. Biological Computing Co. (TBC) прагне скоротити цей цикл, спираючись на незвичне джерело натхнення: вимірювання активності живих нейронів.

30 жовтня компанія запускає TBC Mischief — модель перетворення зображень на відео на основі Wan 2.2, доступну через fal.ai. За словами TBC, її версія генерує відео вп’ятеро швидше й на 80% дешевше за базову модель, водночас забезпечуючи вищу якість результату. Це порівняння, наведені самою компанією; в анонсі немає незалежного бенчмарку чи достатньо докладного опису тестування, щоб з’ясувати, наскільки ці переваги зберігатимуться за різних робочих навантажень.

Головна відмінність полягає в тому, як саме в цій системі використовують біологію. Mischief працює як програмне забезпечення на звичайному обладнанні для ШІ. Клієнти не надсилають запити живим клітинам і не встановлюють біологічні процесори. У дослідницькому процесі TBC використовує нейронну активність, а потім перетворює отримані знання на програмне забезпечення, що модифікує наявну модель.

Що пропонує TBC Mischief

Згідно з анонсом запуску, Mischief буде доступна через інтерфейс fal.ai для перетворення зображень на відео, а безплатний доступ діятиме до 2 листопада. Оголошена ціна становить $0.02 за секунду згенерованого відео. За такого тарифу 100 роликів тривалістю по п’ять секунд коштуватимуть $10 — без урахування будь-яких інших витрат на робочий процес.

TBC також повідомляє, що Wonder Studios тестувала модель у виробничому процесі, під час якого приблизно за шість хвилин було згенеровано 100 роликів тривалістю по п’ять секунд. Це заявлений результат пакетної обробки, а не показник затримки, на який варто розраховувати кожному окремому користувачеві. Одночасність запитів, роздільна здатність, параметри семплювання та обладнання для обробки можуть впливати на співвідношення між пропускною здатністю пакетної обробки й часом, потрібним для одного запиту.

Для творчих команд практичне питання полягає в тому, чи дає швидша модель змогу отримувати більше придатного відеоматеріалу за кожен долар. Нижча ціна генерації має менше значення, якщо для потрібного кадру доводиться робити багато повторних спроб, втрачається безперервність або результат не відповідає вхідному зображенню. Тому оцінювання Mischief передбачає порівняння і швидкості, і кількості успішних результатів за однакових налаштувань.

Від записів нейронної активності до програмного шару

На вебсайті TBC компанія описує послідовний процес: кодування обчислювальних завдань в електричні сигнали, вимірювання реакції культивованих нейронних мереж і виокремлення принципів, які можна втілити в програмному забезпеченні. Її комерційний підхід полягає в додаванні шару посттренування до блоків дифузійного трансформера; за словами компанії, це збільшує кількість параметрів базової моделі менш ніж на 0,1%.

Це незначне доповнення важливе для задуму продукту: наявну модель можна цілеспрямовано модифікувати, не замінюючи її цілком новою базовою моделлю. Біологічний компонент використовується на етапах відкриттів і розробки; готова система для інференсу залишається цифровою.

У технічному дописі про Neural Dynamics Adapter компанія наводить конкретніший приклад своїх попередніх досліджень. У цій роботі TBC записувала активність культивованих нейронів за допомогою матриці високої щільності з 4,096 електродами, перетворювала ці записи на числові представлення та інтегрувала легкий адаптер у дифузійну модель. У дослідженні використовували Oasis — інтерактивну відеомодель Minecraft, а не модель Wan 2.2, на якій побудовано Mischief.

Ця відмінність має значення. Результат дослідження в одному інтерактивному середовищі може допомогти пояснити метод, але не доводить ефективності окремого комерційного продукту. У дописі про адаптер також описано обмеження, зокрема вузьке тестове середовище та результати, що змінювалися залежно від налаштувань усунення шуму. Це підтверджує правдоподібність такого інженерного підходу, але ширшу здатність методу узагальнюватися ще належить довести.

Біологічні дослідження та звичайні методи оптимізації можуть доповнювати одне одного

В іншому дописі TBC — «Відчуття простору й часу» — розглядає ще один спосіб перенести спостереження з біології у генерацію відео. Запропонована дослідницька архітектура поєднує локальну просторову обробку з невеликим модулем часової пам’яті, використовуючи нейронні вимірювання, щоб визначати, як зберігати інформацію між кадрами.

У дописі також прямо зазначено, що підвищення швидкості в розгорнутій системі забезпечили поєднанням змін моделі та оптимізацій обробки. Серед них — кешування вже обробленого контексту, скорочення обсягу семплювання та ефективне обслуговування кількох сеансів. Ці результати стосуються інтерактивної відеосистеми на основі Oasis, а не безпосереднього бенчмарку Mischief.

Це дає корисний контекст для запуску: біологічні дослідження можуть впливати на архітектуру моделі, тоді як звичні програмні методи й далі сприяють ефективності кінцевої системи. Розмежування цих внесків допомогло б розробникам зрозуміти, які переваги забезпечує модель, які — стек інференсу, а які залежать від конкретного способу розгортання.

Шлях до наявної інфраструктури ШІ

Запуск Mischief відбувається після анонсу TBC у вересні про співпрацю з Amazon Web Services. В анонсі йшлося про роботу з AWS Trainium і Amazon SageMaker AI, а також про плани комерційного розповсюдження програмного забезпечення, створеного з використанням нейронів, через AWS Marketplace. Попередня співпраця стосувалася перетворення тексту на відео; запуск Mischief зосереджений на доступі до перетворення зображень на відео через fal.ai.

Поширена стратегія полягає в тому, щоб інтегрувати результати досліджень в інфраструктуру, якою розробники вже користуються. Модель, доступна через API, дає змогу простіше оцінити її в наявному творчому процесі, ніж система, для якої потрібен новий тип фізичного обладнання. Крім того, користувачі отримують практичну можливість перевірити заяви компанії на власних зображеннях, запитах і критеріях прийнятності.

Компанія TBC, яку очолюють генеральний директор і співзасновник Alex Ksendzovsky та операційний директор і співзасновник Jon Pomeraniec, повідомляє, що також досліджує новіші відеомоделі, мовні моделі та фізичний ШІ. Це напрями подальшої розробки, а не можливості, підтверджені цим випуском.

Що зробить цей запуск значущим

Найкориснішим наступним підтвердженням стала б відтворювана порівняльна оцінка з Wan 2.2: те саме обладнання й роздільна здатність, оприлюднені параметри семплювання, окремі вимірювання затримки та пропускної здатності, а також оцінювання якості на широкому наборі вхідних даних. Щоб пов’язати нижчу вартість інференсу із заявами про обчислювальну ефективність, потрібно було б також виміряти енергоспоживання.

Запуск Mischief переводить підхід TBC від описів досліджень до інструмента, який розробники можуть випробувати на практиці. Його довгострокове значення залежатиме від того, чи збережуться переваги поза межами вибраних демонстрацій і під час роботи з різними моделями. Наразі конкретна пропозиція — невелика модифікація програмного забезпечення, розроблена з урахуванням біологічних експериментів, яка має зробити використання наявної відеомоделі економнішим.