Як штучний інтелект розв’язує проблему “коктейльної вечірки” та її вплив на майбутні аудіотехнології

Уявіть, що ви перебуваєте на переповненому заході, оточені голосами та фоновим шумом, але ви все ж таки зосереджуєтесь на розмові з людиною, що стоїть прямо перед вами. Ця здатність ізолювати конкретний звук серед шумного фону відома як проблема коктейльної вечірки, термін, вперше введений британським вченим Коліном Черрі в 1958 році для опису цієї видатної здатності людського мозку. Експерти зі штучного інтелекту десятиліттями намагаються відтворити цю людську здатність за допомогою машин, однак це залишається складною задачею. Однак останні досягнення в галузі штучного інтелекту відкривають нові горизонти, пропонуючи ефективні рішення цієї проблеми. Це створює передумови для трансформаційної зміни в аудіотехнологіях. У цій статті ми досліджуємо, як штучний інтелект прогресує в розв’язанні проблеми коктейльної вечірки та потенціал, який вона має для майбутніх аудіотехнологій. Перед тим, як зануритися в те, як штучний інтелект намагається розв’язати цю проблему, ми повинні спочатку зрозуміти, як люди розв’язують цю проблему.

Як люди розв’язують проблему коктейльної вечірки

Люди володіють унікальною аудіосистемою, яка допомагає нам орієнтуватися в шумових середовищах. Наш мозок обробляє звуки бінаурально, тобто ми використовуємо вхід з обох вух, щоб виявити незначні відмінності в часі та гучності, що допомагає нам виявити місце розташування звуків. Ця здатність дозволяє нам орієнтуватися на голос, який ми хочемо чути, навіть коли інші звуки конкурують за увагу.

Поза слухом, наші когнітивні здібності ще більше посилюють цей процес. Селективна увага допомагає нам фільтрувати незначимі звуки, дозволяючи нам зосередитися на важливій інформації. Між тим, контекст, пам’ять та візуальні підказки, такі як читання з губ, допомагають у відокремленні мови від фонового шуму. Ця складна сенсорна та когнітивна система обробки інформації надзвичайно ефективна, але відтворення її в штучному інтелекті залишається складною задачею.

Чому це залишається складною задачею для штучного інтелекту?

Від віртуальних помічників, які розпізнають наші команди в зайнятому кафе, до слухових апаратів, які допомагають користувачам зосередитися на одній розмові, дослідники штучного інтелекту постійно працюють над відтворенням здатності людського мозку розв’язувати проблему коктейльної вечірки. Це завдання привело до розробки технік, таких як блінд-відокремлення джерел сигналу (BSS) та незалежний аналіз компонентів (ICA), призначених для ідентифікації та ізоляції окремих джерел звуку для індивідуальної обробки. Хоча ці методи показали перспективи в контрольованих середовищах – де джерела звуку передбачувані та не суттєво перекриваються у частоті – вони мають труднощі при розрізненні перекриваються голосів або ізоляції одного джерела звуку в реальному часі, особливо в динамічних та непередбачуваних умовах. Це в першу чергу пояснюється відсутністю сенсорної та контекстної глибини, яку люди природно використовують. Без додаткових підказок, таких як візуальні сигнали або знайомство з конкретними тонами, штучний інтелект стикається з труднощами у керуванні складним, хаотичним сумішшю звуків, зустрічається в повсякденних середовищах.

Як WaveSciences використав штучний інтелект для розв’язання проблеми

У 2019 році WaveSciences, американська компанія, заснована електроінженером Кітом Макелвіном у 2009 році, зробила пробив у розв’язанні проблеми коктейльної вечірки. Їхнє рішення, Простір звільнення від маскування (SRM), використовує штучний інтелект та фізику поширення звуку для ізоляції голосу мовця від фонового шуму. Як і людська аудіосистема обробляє звук з різних напрямків, SRM використовує кілька мікрофонів для захоплення звукових хвиль, коли вони рухаються крізь простір.

Однією з критичних труднощів у цьому процесі є те, що звукові хвилі постійно відбиваються та змішуються у середовищі, що робить складним математичне ізолювання конкретних голосів. Однак, використовуючи штучний інтелект, WaveSciences розробили метод для визначення походження кожного звуку та фільтрування фонового шуму та навколишніх голосів на основі їхнього просторового розташування. Ця адаптивність дозволяє SRM справлятися із змінами в реальному часі, такими як рухомий мовець або введення нових звуків, що робить його значно ефективнішим, ніж попередні методи, які боролися з непередбачуваною природою реальних аудіо-середовищ. Це досягнення не тільки посилює здатність зосередитися на розмовах у шумових середовищах, але також відкриває шлях для майбутніх інновацій в аудіотехнологіях.

Прогрес у техніках штучного інтелекту

Останні досягнення в галузі штучного інтелекту, особливо в глибоких нейронних мережах, суттєво покращили здатність машин розв’язувати проблему коктейльної вечірки. Алгоритми глибокого навчання, треновані на великих наборах змішаних аудіосигналів, добре ідентифікують та відокремлюють різні джерела звуку, навіть у сценаріях перекриваються голосів. Проекти, такі як BioCPPNet, успішно продемонстрували ефективність цих методів, ізолюючи вокалізації тварин, вказуючи на їхню придатність у різних біологічних контекстах, що виходять за рамки людської мови. Дослідники показали, що техніки глибокого навчання можуть адаптувати розділення голосів, вивчене в музичних середовищах, до нових ситуацій, підвищуючи стійкість моделі в різних умовах.

Нейронне формування променів ще більше посилює ці можливості, використовуючи кілька мікрофонів для концентрації на звуках з конкретних напрямків, одночасно мінімізуючи фоновый шум. Ця техніка досягається динамічним регулюванням фокусу на основі аудіо-середовища. Крім того, моделі штучного інтелекту використовують часово-частотне маскування для розрізнення джерел аудіо за їхніми унікальними спектральними та часовими характеристиками. Розширені системи діаризації мовців ізолюють голоси та відстежують окремих мовців, полегшуючи організовані розмови. Штучний інтелект може більш точно ізолювати та посилити конкретні голоси, інтегруючи візуальні підказки, такі як рухи губ, поряд з аудіоданими.

Практичні застосування проблеми коктейльної вечірки

Ці досягнення відкрили нові шляхи для розвитку аудіотехнологій. Деякі практичні застосування включають:

• Форензична аналіз: За повідомленням BBC, технологія розпізнавання та маніпулювання мовою (SRM) була використана в судах для аналізу аудіодоказів, особливо в випадках, коли фоновый шум ускладнює ідентифікацію мовців та їхньої розмови. Часто записи в таких сценаріях стають непридатними як докази. Однак SRM довела свою цінність у форензичних контекстах, успішно декодуючи критичні аудіодані для презентації в суді.
• Наушники з шумопониженням: Дослідники розробили прототип системи штучного інтелекту під назвою Target Speech Hearing для наушників з шумопониженням, яка дозволяє користувачам вибрати конкретний голос, який буде чутний, одночасно відміняючи інші звуки. Система використовує техніки розв’язання проблеми коктейльної вечірки для ефективної роботи на наушниках з обмеженою обчислювальною потужністю. Це поки що концепція, але творці ведуть переговори з брендами наушників щодо потенційного впровадження цієї технології.
• Слухові апарати: Сучасні слухові апарати часто мають труднощі в шумових середовищах, не 能够 ізолювати конкретні голоси від фонового шуму. Хоча ці пристрої можуть посилити звук, вони не мають розширених механізмів фільтрації, які дозволяють людським вухам зосередитися на одній розмові серед конкуруючих звуків. Це обмеження особливо складне в переповнених або динамічних умовах, де перекриваються голоси та коливання рівня шуму панують. Розв’язання проблеми коктейльної вечірки можуть покращити слухові апарати, ізолюючи бажані голоси та мінімізуючи навколишній шум.
• Телекомунікації: У телекомунікаціях штучний інтелект може покращити якість дзвінків, фільтруючи фоновый шум та підкреслюючи голос мовця. Це призводить до чистішої та більш надійної комунікації, особливо в шумових умовах, таких як зайняті вулиці чи переповнені офіси.
• Голосові помічники: Штучний інтелект, що керує голосовими помічниками, такими як Amazon’s Alexa та Apple’s Siri, може стати більш ефективним у шумових середовищах та розв’язувати проблему коктейльної вечірки більш ефективно. Ці досягнення дозволяють пристроям точно розуміти та реагувати на команди користувача, навіть під час фонового шуму.
• Аудіозапис та редагування:Технології, керовані штучним інтелектом, можуть допомогти інженерам звуку в пост-продукції, ізолюючи окремі джерела звуку в записаних матеріалах. Ця здатність дозволяє отримувати чистіші треки та більш ефективне редагування.

Висновок

Проблема коктейльної вечірки, суттєва задача в обробці аудіо, бачила видатні досягнення завдяки технологіям штучного інтелекту. Інновації, такі як Простір звільнення від маскування (SRM) та алгоритми глибокого навчання, переозначають, як машини ізолюють та відокремлюють звуки в шумових середовищах. Ці прориви покращують повсякденний досвід, такий як чистіші розмови в переповнених умовах та покращена функціональність слухових апаратів та голосових помічників. Однак вони також мають трансформаційний потенціал для форензичного аналізу, телекомунікацій та аудіовиробництва. Коли штучний інтелект продовжує еволюціонувати, його здатність відтворювати людські слухові можливості призведе до ще більш суттєвих досягнень в аудіотехнологіях, врешті-решт змінюючи, як ми взаємодіємо з звуком у нашому повсякденному житті.