Mirelo залучає 41 мільйон доларів початкового фінансування для впровадження звуку, згенерованого штучним інтелектом, у відео, ігри та не тільки

Базується в Берліні Мірело залучила початковий раунд у розмірі 41 мільйона доларів США, прагнучи вирішити одну з найпоширеніших проблем у генеративних медіа: звук. Фінансування було організовано спільно з Індексні підприємства та Андреессен Горовиц, за участю Atlantic.vc та TriplePoint Capital, підкреслюючи зростаючу впевненість інвесторів у тому, що аудіо є наступним важливим рубежем для творчості на основі штучного інтелекту.

Хоча штучний інтелект швидко змінив способи створення тексту, зображень та відео, аудіо відстає. Музика, звукові ефекти та навколишній звук залишаються трудомісткими, часто додаючись наприкінці творчого процесу, незважаючи на їхній надмірний вплив на сприйняття контенту. Амбіція Mirelo полягає в тому, щоб змінити це, зробивши високоякісний, емоційно резонансний звук таким же простим у створенні, як і візуальні ефекти.

Чому звук залишився позаду

Звук має унікальну здатність формувати емоції, напругу та атмосферу. Німе відео, яким би візуально вражаючим воно не було, рідко здається завершеним. Однак для більшості творців додавання аудіо все ще означає пошук у фонових бібліотеках, ручне вирівнювання звукових ефектів та перегортання часових шкал, доки все не буде виглядати правильно.

Ця невідповідність стає більш очевидною зі прискоренням створення відео. Візуальні елементи, згенеровані штучним інтелектом, короткий соціальний контент та адаптивні ігрові середовища розвиваються швидше, ніж можуть підтримувати традиційні аудіопроцеси. Результатом є зростаючий розрив між тим, що творці можуть уявити візуально, і тим, що вони можуть реалістично втілити звуково.

Засновники Mirelo розглядали цю прогалину не як обмеження креативності, а як обмеження інструментарію.

Створення фундаментальних моделей для аудіо

Заснована у 2023 році, компанія Mirelo розробила власні базові моделі, спеціально розроблені для звуку у відео. Замість того, щоб перепрофілювати великі мовні моделі або системи на основі зображень, компанія зосередилася на аудіо з нуля. Користувач може завантажити відео та протягом кількох секунд отримати синхронізовані звукові ефекти, що реагують на рух, час та події на екрані.

Такий підхід особливо актуальний у середовищах з динамічним контентом. Відео, створені штучним інтелектом, персоналізовані стрічки соціальних мереж та сучасні відеоігри – все це виграє від аудіо, яке може адаптуватися в режимі реального часу. Система Mirelo генерує звук швидше, ніж у реальному часі, що дозволяє їй встигати за змінами в реальному часі.

Нещодавно компанія випустила Mirelo SFX версії 1.5, модель перетворення відео на звуковий ефект, доступну через її API самообслуговування та веб-додаток Mirelo Studio. За словами компанії, її моделі є легкими, потребують значно менше обчислювальних ресурсів, ніж типові моделі з великими мовами програмування, водночас забезпечуючи конкурентоспроможну або навіть вищу якість звуку за результатами зовнішніх оцінювань.

Музиканти в центрі технологій

Однією з визначальних рис Mirelo є її команда засновників. Генеральний директор Сі Джей Саймон-Габріель та технічний директор Флоріан Венцель є досвідченими музикантами, а також дослідниками штучного інтелекту. Саймон-Габріель має ступінь доктора філософії з машинного навчання та причинно-наслідкових висновків Інституту Макса Планка та завершив постдокторську стипендію в ETH Zurich. Венцель отримав ступінь доктора філософії з глибокого навчання в Університеті Гумбольдта, а раніше працював дослідником у Google Brain.

Музика була постійною паралельною ниткою в житті обох. Саймон-Габріель навчався грі на фортепіано, органі та композиції і відкрито говорив про те, що майже хотів би зайнятися музикою професійно. Венцель продовжує грати на електрогітарі та створювати електронну музику у складі берлінського гурту.

Цей подвійний досвід сформував культуру та технічний напрямок Mirelo. Замість того, щоб розглядати звук як вторинний продукт, команда підходить до нього як до основного творчого середовища, де математична точність та експресивні нюанси повинні співіснувати.

Що далі чекає на звук, згенерований штучним інтелектом

Довгострокові амбіції Mirelo виходять далеко за рамки простої автоматизації. Компанія розглядає свою технологію як спосіб усунення перешкод у творчій роботі, виконуючи такі завдання, як синхронізація та таймінг, щоб артисти та звукорежисери могли зосередитися на виразності та розповіді історій.

Оскільки візуальний контент стає більш персоналізованим та інтерактивним, звук має розвиватися разом з ним. Ігри, що адаптуються до поведінки гравця, відео, що генеруються на вимогу, та захопливі віртуальні середовища потребують звуку, який може реагувати динамічно, а не бути фіксованим заздалегідь.

Забігаючи вперед, такі технології, як Мірелос може переосмислити те, як звук створюється, поширюється та сприймається. Замість статичних саундтреків, аудіо може стати живим компонентом візуальних медіа, що генерується в режимі реального часу, щоб відповідати контексту, емоціям та намірам. У такому майбутньому звук більше не буде другорядною думкою, а невід'ємним шаром, безпосередньо вплетеним у те, як розповідаються історії у відео, іграх, кіно та нових цифрових світах.