Modulate залучає підтримку Twilio Ventures і прискорює виявлення голосів, згенерованих ШІ

Modulate оголосила про нові інвестиції від Twilio Ventures і співзасновника Kayak Пола Інгліша, оскільки розширює набір технологій, які компанії можуть використовувати для виявлення синтетичних абонентів і нагляду за голосовими агентами ШІ. За словами компанії, її найновіші моделі можуть виявити голос, згенерований ШІ, за медіанний час 1,6 секунди — порівняно з 2,25 секунди раніше, — зберігаючи точність виявлення понад 99,1% під час оцінювання реальних дзвінків за участю ШІ та людей.

Інвестиції доповнюють фінансування Modulate на суму 25 мільйонів доларів, про яке компанія оголосила у вересні. Раунд очолила Future Ventures за участю Hyperplane і Lakestar. Компанія не розкрила розмір додаткових інвестицій. Паралельно з фінансуванням вона додає до платформи Velma понад десяток сигналів, що безпосередньо аналізують аудіо, аби допомогти підприємствам зрозуміти, хто — або що — телефонує і як розгортається розмова під керуванням ШІ.

Ця відмінність стає ключовою для автоматизації голосової взаємодії. Синтетичний абонент може бути корисним помічником, який записує на прийом, або клонованим голосом, за допомогою якого хтось намагається видати себе за іншу людину. Виявлення згенерованого мовлення дає лише один доказ; щоб вирішити, як діяти під час дзвінка, потрібно ширше враховувати поведінку та контекст.

Швидше виявлення ще під час дзвінка

За словами Modulate, скорочення медіанного часу виявлення дає змогу компаніям розпізнати синтетичне мовлення достатньо рано, щоб перенаправити дзвінок, позначити його для перевірки або застосувати додаткову верифікацію, поки розмова триває. Система аналізує саме аудіо й не залежить від водяних знаків, які окремі постачальники технологій генерування голосу вбудовують у записи, зокрема й у новіші моделі перетворення мовлення на мовлення та повнодуплексні моделі.

Перехід від 2,25 до 1,6 секунди означає скорочення приблизно на 29% від заявленого компанією медіанного показника. Це показник часу виявлення, а не гарантія того, що кожен дзвінок буде класифіковано за цей проміжок або що повний процес забезпечення безпеки завершиться так само швидко. В оголошенні не вказано розмір вибірки для оцінювання та не наведено розподілу хибнопозитивних і хибнонегативних результатів, на підставі яких отримано показник точності понад 99,1%.

«Оператори дзвінків — люди чи агенти ШІ — мають розпізнавати, що відбувається під час розмов, і належно реагувати, поки взаємодія ще триває», — сказав Картер Гаффман, генеральний директор і співзасновник Modulate.

Для контакт-центрів операційна перевага полягає в можливості втрутитися, перш ніж розмова завершиться. Попередження, надіслане після зміни облікового запису або розголошення конфіденційної інформації, має інше призначення, ніж сигнал, доступний безпосередньо під час взаємодії.

Як Velma поєднує спеціалізовані аудіомоделі

У Velma використовується те, що Modulate називає ансамблевою моделлю слухового сприйняття, або ELM: архітектура, яка координує спеціалізовані моделі, а не покладається винятково на одну універсальну модель для інтерпретації транскрипту. За словами компанії, її система об’єднує понад 100 моделей, що аналізують такі сигнали, як емоції, тон, наміри, темп мовлення, синтетичне мовлення та перебіг розмови.

В описі продукту пояснюється, що рівень оркестрації поєднує сигнали нижчого рівня в оцінки вищого рівня, зберігаючи зв’язок із вихідними доказами. Події з часовими позначками можуть показати, у який момент розмова змінилася, і дати операційній команді конкретніший об’єкт для перевірки, ніж незрозуміла оцінка ризику дзвінка загалом.

Транскрипт фіксує слова, але не зберігає кожну паузу, перебивання, зміну наголосу чи особливість подачі. Підхід Modulate додає до аналізу акустичну інформацію, щоб розробники могли досліджувати перебіг розмови поряд із тим, що кажуть її учасники.

Документація компанії з виявлення дипфейків демонструє цю відмінність на рівні API. У ній описано акустичну класифікацію аудіофрагментів із часовими межами, вердиктами й оцінками впевненості; підтримуються як записані файли, так і потокове аудіо в реальному часі. Оцінка впевненості виявлення є доказом на користь певної класифікації, а не підтвердженням особи абонента чи його намірів.

Синтетичне мовлення — не те саме, що шахрайство

У посібнику Modulate з виявлення голосового шахрайства ці питання чітко розмежовано: виявлення дипфейків визначає, чи є голос синтетичним, тоді як аналіз розмови оцінює поведінку. Легітимний помічник на основі ШІ може використовувати згенероване мовлення; абонент-людина може вдатися до соціальної інженерії, не використовуючи синтез голосу.

Ця відмінність важлива й для людей, які користуються допоміжними мовленнєвими технологіями. Самої позначки про синтетичний голос недостатньо, щоб вважати абонента зловмисником. За словами Modulate, у новому випуску Velma може поєднувати цю позначку із сигналами, пов’язаними з намірами, маніпуляціями, тоном і поведінкою під час розмови, щоб допомогти ухвалювати обґрунтованіші рішення щодо подальших дій.

Практична мета — застосовувати заходи реагування поетапно: звичайне перенаправлення дзвінка для дозволеної автоматизації, додаткову перевірку, якщо цього вимагає транзакція, та ескалацію, коли під час розмови виявляється підозріла поведінка. Система виявлення надає докази; реакцію визначають правила організації.

Моніторинг якості голосових агентів ШІ

Нові сигнали Velma також допомагають розв’язати менш драматичну, але важливу для бізнесу проблему: ШІ-агент може говорити побіжно й упевнено, водночас забезпечуючи незадовільний клієнтський досвід. За словами Modulate, ці доповнення дають змогу оцінювати час відповіді, якість аудіо та непорозуміння в розмові, які можуть залишитися непоміченими під час аналітики, що спирається лише на транскрипти.

На своїй сторінці про запобіжники для ШІ компанія описує Velma як систему, що відстежує учасників, а не сама виступає співрозмовником. Клієнти можуть налаштувати моніторинг відповідно до робочих процедур і очікуваної поведінки, а потім передавати сигнали до наявних систем через API та вебхуки.

Так система, яка веде розмову, відокремлюється від системи, що оцінює взаємодію. Це дає командам змогу з’ясувати, у яких випадках агент спричиняє невдоволення, порушує правила або не відповідає належним чином, і використати ці висновки для вдосконалення впровадження.

Підтримка Twilio розвиває вже наявні зв’язки

Twilio Ventures зосереджується на ШІ, інструментах для розробників і компаніях, що працюють у сфері взаємодії з клієнтами, тож аудіоінтелект відповідає напрямам її інвестицій. Modulate уже має технічний зв’язок із Twilio: у повідомленні за травень 2025 року йшлося про сумісність продуктів VoiceVault і ToxMod, зокрема про API, сумісні з Twilio Media Streams, для передавання аудіо дзвінків у реальному часі до систем Modulate.

Нова інвестиція спирається на цю співпрацю, хоча в повідомленні не йдеться про укладення нової ексклюзивної угоди щодо дистрибуції. Modulate заявляє, що спрямує капітал на дослідження, розробку продуктів, залучення розробників, партнерства та розширення можливостей для впровадження.

У вересневому повідомленні про залучення фінансування ті самі пріоритети було визначено як основу розширення діяльності за межі попередніх застосувань для забезпечення безпеки голосових систем. Завдяки цьому оновленню компанія зближує виявлення та нагляд: допомагає підприємствам розпізнавати згенероване мовлення, аналізувати супутню поведінку й оцінювати, чи виконують їхні власні голосові агенти поставлені завдання.