Mirelo зібрала 41 мільйон доларів у рамках раунду сід-інвестицій для впровадження генеративного звуку в відео, ігри та інші сфери

Берлінська компанія Mirelo зібрала 41 мільйон доларів у рамках раунду сід-інвестицій для вирішення однієї з найбільш постійних сліпих плям у генерації медіа: звуку. Фінансування було спільно очолено компаніями Index Ventures та Andreessen Horowitz, з участю компаній Atlantic.vc та TriplePoint Capital, що підкреслює зростаючу впевненість інвесторів у те, що аудіо є наступним великим фронтиром для творчості, керованої штучним інтелектом.

Хоча штучний інтелект швидко трансформував спосіб виробництва тексту, зображень та відео, аудіо відставало. Музика, звукові ефекти та фоновий звук залишаються трудомісткими, часто додаються наприкінці творчого процесу, незважаючи на їхній великий вплив на сприйняття контенту. Амбіція Mirelo полягає у тому, щоб змінити це, зробивши високоякісний, емоційно резонансний звук таким же легким для генерації, як і візуальні ефекти.

Чому звук був залишений позаду

Звук має унікальну здатність формувати емоції, напруженість та атмосферу. Німий відеоролик, незалежно від того, наскільки візуально він вражаючий, рідко здається завершеним. Однак для більшості творців додавання аудіо все ще означає пошук у бібліотеках звуків, ручне виравнювання звукових ефектів та ітерацію через хронологію до тих пір, поки все не почне відчуватися правильно.

Ця невідповідність стала ще більш очевидною з прискоренням створення відео. Відео, згенеровані штучним інтелектом, короткометражний соціальний контент та адаптивні ігрові середовища рухаються швидше, ніж традиційні аудіопотоки можуть підтримувати. Результатом є зростаючий розрив між тим, що творці можуть уявити візуально, та тим, що вони можуть реально виконати звуково.

Засновники Mirelo бачили цей розрив не як обмеження творчості, а як обмеження інструментів.

Будівництво фундаментальних моделей для аудіо

Заснована у 2023 році, Mirelo розробила свої власні фундаментальні моделі, спеціально призначені для звуку у відео. Замість використання великих мовних моделей або систем, заснованих на зображеннях, компанія зосередилася на аудіо з самого початку. Користувач може завантажити відео та отримати синхронізовані звукові ефекти, які реагують на рух, час та події на екрані, вже через кілька секунд.

Цей підхід особливо актуальний у середовищах, де контент є динамічним. Відео, згенеровані штучним інтелектом, персоналізовані соціальні стрічки та сучасні відеоігри всі користуються аудіо, яке може адаптуватися в реальному часі. Система Mirelo генерує звук швидше, ніж у реальному часі, що дозволяє їй збігатися з досвідом, який змінюється на льоту.

Компанія недавно випустила Mirelo SFX v1.5, модель відео-до-звукового ефекту, доступну через свій API з самообслуговуванням та вебзастосунок Mirelo Studio. За словами компанії, її моделі легші, вимагають значно менше обчислювальних ресурсів, ніж типові великі мовні моделі, при цьому забезпечуючи конкурентоспроможну або вищу якість аудіо у зовнішніх оцінках.

Музиканти у центрі технології

Однією з визначальних характеристик Mirelo є її засновницька команда. Генеральний директор CJ Simon-Gabriel та технічний директор Florian Wenzel обоє є досвідченими музикантами, а також досвідченими дослідниками штучного інтелекту. Саймон-Габріель має ступінь доктора філософії з машинного навчання та каузальної інференції в Інституті Макса Планка та закінчив постдокторську стипендію в ETH Цюрих. Венцель здобув ступінь доктора філософії з глибокого навчання в Університеті Гумбольдта та раніше працював дослідником у Google (GOOGL ) Brain.

Музика була постійним паралельним напрямком у житті обох. Саймон-Габріель навчався грати на фортепіано, органі та композиції і відкрито говорив про те, що майже став професіональним музикантом. Венцель продовжує грати на електрогітарі та продюсувати електронну музику як частина берлінської групи.

Ця подвійна освіта сформувала культуру та технічний напрямок Mirelo. Замість того, щоб розглядати звук як вторинний вивід, команда підходить до нього як до основного творчого середовища, де математична точність та виразна нюансування повинні співіснувати.

Що далі для генерації звуку штучним інтелектом

Довгострокова амбіція Mirelo простягається далеко за межі простої автоматизації. Компанія розглядає свою технологію як засіб усунення тертя з творчої роботи, обробки завдань, таких як синхронізація та час, щоб художники та звукорежисери могли зосередитися на виразі та оповіданні.

З того часу, як візуальний контент стає більш персоналізованим та інтерактивним, аудіо повинно еволюціонувати поряд з ним. Ігри, які адаптуються до поведінки гравця, відео, згенеровані на вимогу, та іммерсивні віртуальні середовища всі потребують звуку, який може реагувати динамічно, а не бути фіксованим заздалегідь.

Оглядаючи майбутнє, технології, такі як Mirelo’s, можуть переозначити, як створюється, ділиться та переживається звук. Замість статичних саундтреків аудіо може стати живим компонентом візуальних медіа, згенерованим у реальному часі для відповідності контексту, емоціям та намірам. У цьому майбутньому звук вже не є післядумом, а інтегральним шаром, вплетеним безпосередньо у те, як оповідання розповідаються через відео, ігри, кіно та нові цифрові світи.