TBC представляет Mischief — видеомодель ИИ, созданную на основе нейронных данных и Wan 2.2

Создание короткого видео с помощью ИИ может потребовать многократных попыток, прежде чем получится пригодный для использования ролик. Biological Computing Co. (TBC) пытается сократить этот процесс, используя необычный источник вдохновения — измерения активности живых нейронов.

30 октября компания запускает TBC Mischief — модель преобразования изображений в видео на основе Wan 2.2, доступную через fal.ai. По словам TBC, ее версия генерирует видео в пять раз быстрее и обходится на 80% дешевле базовой модели, при этом качество результатов повышается. Эти сравнения основаны на данных компании: в анонсе нет независимого тестирования или достаточной информации о методике, чтобы понять, насколько эти преимущества сохранятся при разных нагрузках.

Главное отличие заключается в том, как биология участвует в работе системы. Mischief работает как программное обеспечение на обычном оборудовании для ИИ. Клиенты не отправляют запросы живым клеткам и не устанавливают биологические процессоры. TBC использует активность нейронов в ходе исследований, а затем преобразует полученные знания в программное обеспечение, которое модифицирует существующую модель.

Что предлагает TBC Mischief

Согласно анонсу запуска, Mischief будет доступна через точку доступа fal.ai для преобразования изображений в видео; бесплатный доступ продлится до 2 ноября. Объявленная цена составляет 0,02 доллара за секунду сгенерированного видео. При таком тарифе 100 роликов длительностью пять секунд обойдутся в 10 долларов, не считая прочих расходов на рабочий процесс.

TBC также сообщает, что Wonder Studios протестировала модель в производственном процессе, где за примерно шесть минут было создано 100 роликов длительностью пять секунд. Это заявленный результат обработки пакета, а не показатель задержки, на который следует рассчитывать каждому отдельному пользователю. Параллельность запросов, разрешение, настройки семплирования и оборудование для обслуживания могут влиять на соотношение между пропускной способностью при пакетной обработке и временем выполнения одного запроса.

Для творческих команд практический вопрос заключается в том, позволяет ли более быстрая модель получать больше пригодных для использования видеоматериалов на каждый потраченный доллар. Снижение стоимости генерации менее важно, если для получения кадра требуется много повторных попыток, нарушается непрерывность или результат не соответствует исходному изображению. Поэтому оценивать Mischief нужно, сравнивая и скорость, и количество успешных результатов при одинаковых настройках.

От регистрации активности нейронов к программному слою

На сайте TBC компания описывает последовательность действий: вычислительные задачи кодируются в электрические сигналы, затем измеряется реакция культивируемых нейронных сетей, после чего извлекаются принципы, которые можно реализовать в программном обеспечении. Коммерческий подход компании предполагает добавление слоя постобучения поверх блоков диффузионного трансформера. По утверждению TBC, он увеличивает количество параметров базовой модели менее чем на 0,1%.

Это небольшое дополнение имеет большое значение для концепции продукта: существующую модель можно целенаправленно модифицировать, не заменяя ее совершенно новой базовой моделью. Биологический компонент используется на этапах исследований и разработки; итоговая система инференса остается цифровой.

В технической публикации о Neural Dynamics Adapter компания приводит более конкретный пример своих ранних исследований. В этой работе TBC регистрировала активность культивируемых нейронов с помощью матрицы высокой плотности, оснащенной 4096 электродами, преобразовывала эти записи в числовые представления и добавляла облегченный адаптер к диффузионной модели. В исследовании использовалась Oasis — интерактивная видеомодель Minecraft, а не модель Wan 2.2, лежащая в основе Mischief.

Это различие важно. Результат исследования в одной интерактивной среде может помочь объяснить метод, но не доказывает эффективность отдельного коммерческого продукта. В публикации об адаптере также описаны ограничения, в том числе узкая тестовая среда и результаты, которые менялись в зависимости от настроек подавления шума. Эти данные указывают на перспективное направление инженерных разработок, однако возможность более широкого обобщения еще предстоит продемонстрировать.

Биологические данные и традиционные методы оптимизации могут дополнять друг друга

В другой публикации TBC — «Чувство пространства и времени» — рассматривается еще один способ переноса наблюдений из биологии в генерацию видео. Предложенная архитектура объединяет локальную пространственную обработку с небольшой временной памятью; измерения нейронной активности используются для управления тем, как информация сохраняется между кадрами.

В публикации также прямо говорится, что повышение скорости работы развернутой системы было достигнуто благодаря сочетанию изменений модели и оптимизации обслуживания. В их числе — кэширование уже обработанного контекста, сокращение объема семплирования и эффективное обслуживание нескольких сеансов. Результаты относятся к интерактивной видеосистеме на основе Oasis, а не к прямому тестированию Mischief.

Это помогает лучше понять запуск: биологические исследования могут влиять на архитектуру модели, а привычные программные методы — повышать эффективность итоговой системы. Разделение этих факторов помогло бы разработчикам понять, какие улучшения обусловлены моделью, какие — стеком инференса, а какие зависят от конкретного развертывания.

Путь к существующей инфраструктуре ИИ

Запуск Mischief последовал за сентябрьским объявлением TBC о сотрудничестве с Amazon Web Services. В нем описывалась работа с AWS Trainium и Amazon SageMaker AI, а также планы коммерческого распространения программного обеспечения на основе нейронных данных через AWS Marketplace. Предыдущее сотрудничество касалось преобразования текста в видео; запуск Mischief ориентирован на доступ к преобразованию изображений в видео через fal.ai.

Общая стратегия заключается в том, чтобы внедрять результаты исследований в инфраструктуру, которой разработчики уже пользуются. Модель, доступная через API, проще оценить в рамках существующего творческого процесса, чем систему, для которой требуется новый класс физического оборудования. Кроме того, пользователи получают возможность на практике проверить заявления компании на собственных изображениях, запросах и критериях приемки.

TBC, которую возглавляют генеральный директор и сооснователь Alex Ksendzovsky и операционный директор и сооснователь Jon Pomeraniec, сообщает, что также изучает новые видеомодели, языковые модели и физический ИИ. Это направления разработки, а не возможности, уже реализованные в рамках этого выпуска.

Что сделало бы запуск значимым

Наиболее полезным следующим подтверждением стало бы воспроизводимое сравнение с Wan 2.2: на идентичном оборудовании и при одинаковом разрешении, с раскрытыми настройками сэмплирования, отдельными измерениями задержки и пропускной способности, а также оценкой качества на широком наборе входных данных. Чтобы связать более низкую стоимость инференса с заявлениями о вычислительной эффективности, потребовались бы также измерения энергопотребления.

Запуск Mischief переводит подход TBC от описаний исследований к инструменту, который разработчики могут опробовать на практике. Его долгосрочная значимость будет зависеть от того, сохранятся ли преимущества за пределами отдельных демонстраций и при работе с разными моделями. Пока конкретное предложение состоит в небольшой программной модификации, основанной на биологических экспериментах и призванной сделать использование существующей видеомодели более экономичным.