Mirelo привлекает 41 миллион долларов в рамках раунда финансирования для bringen AI-генерируемого звука в видео, игры и дальше

Берлинская компания Mirelo привлекла 41 миллион долларов в рамках раунда финансирования для решения одной из наиболее устойчивых слепых пятен в генеративных медиа: звука. Финансирование было со-лидерами Index Ventures и Andreessen Horowitz, с участием Atlantic.vc и TriplePoint Capital, подчеркивая растущую уверенность инвесторов в том, что аудио является следующим крупным фронтиром для творчества, основанного на ИИ.

Хотя искусственный интеллект быстро преобразовал производство текста, изображений и видео, аудио отстает. Музыка, звуковые эффекты и фоновая музыка остаются трудоемкими, часто добавляются поздно в творческий процесс, несмотря на их значительное влияние на восприятие контента. Ambición Mirelo – изменить это, сделав высококачественный, эмоционально резонансный звук таким же простым в генерации, как и визуальные эффекты.

Почему звук был оставлен позади

Звук имеет уникальную способность формировать эмоции, напряжение и атмосферу. Беззвучное видео, независимо от того, насколько оно впечатляет визуально, редко кажется полным. Однако для большинства создателей добавление аудио все еще означает поиск в библиотеках, ручное выравнивание звуковых эффектов и итерацию по временным шкалам, пока все не будет чувствоваться правильно.

Этот несоответствие стало более очевидным по мере ускорения создания видео. AI-генерируемые визуальные эффекты, контент в социальных сетях и адаптивные игровые среды развиваются быстрее, чем традиционные аудио-потоки могут поддерживать. В результате растет разрыв между тем, что создатели могут представить визуально, и тем, что они могут реально выполнить звуковым образом.

Основатели Mirelo увидели этот разрыв не как ограничение творчества, а как ограничение инструментов.

Строительство фундаментальных моделей для аудио

Основанная в 2023 году, Mirelo разработала свои собственные фундаментальные модели, предназначенные специально для звука в видео. Вместо того, чтобы использовать крупные языковые модели или системы, основанные на изображениях, компания сосредоточилась на аудио с самого начала. Пользователь может загрузить видео и, в течение нескольких секунд, получить синхронизированные звуковые эффекты, которые реагируют на движение, время и события на экране.

Этот подход особенно актуален в средах, где контент динамичен. AI-генерируемые видео, персонализированные социальные ленты и современные видеоигры все выигрывают от аудио, которое может адаптироваться в реальном времени. Система Mirelo генерирует звук быстрее, чем в реальном времени, что позволяет ей идти в ногу с опытом, который меняется на лету.

Компания недавно выпустила Mirelo SFX v1.5, модель видео-звуковых эффектов, доступную через свой самообслуживающий API и веб-приложение Mirelo Studio. Согласно компании, ее модели легковесны, требуют значительно меньше вычислительных ресурсов, чем типичные крупные языковые модели, при этом обеспечивая конкурентоспособное или лучшее качество аудио в внешних оценках.

Музыканты в основе технологии

Одной из определяющих характеристик Mirelo является ее команда основателей. CEO CJ Simon-Gabriel и CTO Florian Wenzel являются не только опытными музыкантами, но и опытными исследователями ИИ. Simon-Gabriel имеет степень PhD в машинном обучении и причинно-следственных выводах от института Max Planck и завершил постдокторантуру в ETH Zurich. Wenzel получил степень PhD в глубоком обучении от Университета Хумбольдта и ранее работал исследователем в Google Brain.

Музыка была постоянной параллельной нитью в их жизни. Simon-Gabriel обучался игре на фортепиано, органе и композиции и говорил открыто о том, что почти стал музыкантом профессионально. Wenzel продолжает играть на электрогитаре и производить электронную музыку в составе берлинской группы.

Этот двойной опыт сформировал культуру и техническое направление Mirelo. Вместо того, чтобы рассматривать звук как второстепенный вывод, команда подходит к нему как к основному творческому средству, где математическая точность и выразительная нюанс должны сосуществовать.

Что дальше для AI-генерируемого звука

Долгосрочная амбиция Mirelo выходит далеко за пределы простой автоматизации. Компания рассматривает свою технологию как способ удалить трение из творческой работы, обрабатывая задачи, такие как синхронизация и время, чтобы художники и звукорежиссеры могли сосредоточиться на выражении и рассказывании историй.

По мере того, как визуальный контент становится более персонализированным и интерактивным, аудио должно эволюционировать вместе с ним. Игры, которые адаптируются к поведению игрока, видео, генерируемые на заказ, и иммерсивные виртуальные среды все требуют звука, который может реагировать динамически, а не быть фиксированным заранее.

Глядя вперед, технологии, такие как Mirelo’s, могли бы переопределить, как звук создается, делится и переживается. Вместо статических саундтреков аудио может стать живым компонентом визуальных медиа, генерируемым в реальном времени, чтобы соответствовать контексту, эмоциям и намерениям. В этом будущем звук больше не является после мысли, а является неотъемлемым слоем, вплетенным непосредственно в то, как рассказываются истории через видео, игры, кино и возникающие цифровые миры.