Алекс Смола, співзасновник Boson AI — серія інтерв’ю

Алекс Смола — співзасновник Boson AI, де він працює над розмовним голосовим ШІ та мультимодальними системами. Його кар’єра охоплює академічні дослідження в Carnegie Mellon University та масштабні ініціативи у сфері ШІ в AWS. Поєднуючи дослідницький і продуктовий досвід, він створює помічників, здатних розуміти нюанси розмови, реагувати на перебивання та виконувати корисні завдання.

Boson AI розробляє базові моделі та інструменти для голосової, аудіо- й мультимодальної взаємодії. Її модель Higgs Realtime підтримує живі розмови з перетворенням мовлення на мовлення, а ширша платформа охоплює виразне генерування мовлення, аватари та корпоративних голосових агентів. У цьому інтерв’ю Смола розповідає про розмовний інтелект, багатомовну продуктивність, економіку інференсу та запобіжні заходи, потрібні для впровадження голосових агентів у реальні бізнес-процеси.

Ваша кар’єра привела вас від академічних досліджень у Carnegie Mellon University до керівництва масштабними ініціативами у сфері ШІ в AWS, а тепер — до співзаснування Boson AI. Що спонукало вас зосередитися на розмовному голосовому ШІ та які фундаментальні обмеження взаємодії між людьми й ШІ ви прагнете подолати?

Люди спілкуються за допомогою не лише слів. У чиємусь голосі можна почути невпевненість або помітити, що людина не зрозуміла пояснення. Коротке підтвердження може підказати, що варто продовжувати. Ми вловлюємо такі сигнали не замислюючись, але навчити комп’ютери їх розпізнавати досі непросто.

Саме тому ця сфера мене так захоплює. Тепер у нас є системи зі значним інтелектуальним потенціалом, але спілкуватися з ними досі може бути незручно. Я хочу, щоб люди могли пояснювати, що їм потрібно, своїми словами, не намагаючись збагнути, як саме слід звертатися до програмного забезпечення.

В AWS я навчився уважно з’ясовувати, чого прагнуть клієнти і чи допомагає їм продукт досягти бажаного. У Boson ми дотримуємося такого ж підходу, маючи змогу швидко діяти в міру розвитку досліджень.

Голос і відео дають нам більше можливостей. Якщо людина має розгублений вигляд або вагається, помічник може відреагувати, перш ніж розмова піде не в тому напрямку. Значна частина наших амбіцій полягає в тому, щоб належно налагодити саме такі повсякденні взаємодії.

Нещодавно Boson AI представила Higgs Realtime — модель, створену для природної взаємодії з перетворенням мовлення на мовлення в реальному часі. Чим цей підхід принципово відрізняється від традиційних систем, що поєднують розпізнавання мовлення, мовні моделі та синтез мовлення, і чому ця відмінність важлива для майбутнього помічників зі штучним інтелектом?

У традиційному конвеєрі розпізнавання мовлення перетворює ваші слова на текст, мовна модель генерує відповідь, а модель мовлення озвучує її. Кожен етап залежить від попереднього, через що розмова може здаватися повільною та уривчастою.

Higgs Realtime — модель перетворення мовлення на мовлення, яка працює безпосередньо з аудіо й призначена для взаємодії наживо. Під час її навчання приділяють увагу розмовній поведінці, зокрема чергуванню реплік і реагуванню на зміну запитів. Це зовсім не те саме, що просто додати голос до текстового чатбота.

Згадайте, як ви ставите комусь складне запитання. Людина може сказати: «Зараз пошукаю відповідь», поки працює над ним. Ви розумієте, що вона вас почула й шукає відповідь. Помічник зі штучним інтелектом має поводитися так само, коли шукає інформацію або користується інструментом, щоб вам не доводилося гадати, чи зрозумів він вас, чи припинив працювати.

Для триваліших завдань це ще важливіше. Помічник має повідомляти вам про перебіг роботи й реагувати, якщо ви поставите запитання або передумаєте.

Одна з найбільших проблем розмовного ШІ — визначити, коли говорити, коли слухати і як реагувати на перебивання чи зміну теми. Як Boson AI розв’язує ці проблеми та яких технічних проривів іще бракує, щоб розмови зі ШІ звучали справді природно?

Підтвердження і перебивання можуть звучати дуже схоже, але реагувати на них потрібно по-різному. Якщо людина каже «так», поки ви говорите, можливо, вона хоче, щоб ви продовжували. Якщо ж вона виправляє цифру у своєму номері телефону, потрібно зупинитися й використати правильний номер. Помічник зі штучним інтелектом має вміти розрізняти ці ситуації.

Higgs Realtime аналізує зміст сказаного, щоб визначити, чи людина закінчила говорити, чи просто робить паузу. Важливо швидко реагувати, але не менш важливо — знати, як саме відповісти.

Стабільно правильно визначати це досі дуже складно. Люди не розмовляють чітко окресленими репліками, а ті самі слова можуть означати різне залежно від контексту розмови. Помічник має розуміти, що змінилося, і пам’ятати, над чим він працював.

Boson AI розробила такі тестові набори, як IHBench, щоб оцінювати, наскільки добре голосові агенти відновлюють роботу після перебивань. Що ці оцінювання виявили про слабкі місця провідних сучасних голосових моделей і як галузі варто переосмислити способи вимірювання розмовного інтелекту?

Ми створили IHBench, щоб перевірити, що відбувається, коли співрозмовник перебиває голосового агента. Якщо під час бронювання ви щось виправляєте, агент має врахувати виправлення й продовжити з потрібного моменту. Вам не доводиться починати спочатку або знову вислуховувати інформацію, яку агент уже надав. Результати суттєво відрізнялися залежно від моделі та типу переривання. Один висновок нам було не надто приємно оприлюднювати: системи із закритими вагами зазвичай краще давали раду перериванням і краще витримували їх, коли ті траплялися дедалі пізніше в розмові.

Це справжня прогалина у відкритій екосистемі, і ми воліємо вимірювати її відкрито, а не вдавати, ніби її не існує. Це також одна з головних причин створення цього бенчмарку. Неможливо усунути прогалину, якщо ніхто не домовився, як її вимірювати. Ми опублікували цей бенчмарк, не включивши до нього жодної власної моделі. Коли ми таки додали одну, Higgs Realtime набрала 71.2 бала за якістю відновлення розмови — більше, ніж GPT Realtime 1.5 із 65.5, GPT Realtime 2 із 62.4 і Gemini 3.1 Flash Live із 61.1. Отже, цю прогалину можна подолати, і її подолала модель із відкритими вагами.

Я волію показати це на тесті, який ми розробили так, щоб він був складним, і опублікували ще до того, як нам було що продемонструвати за його результатами. Загалом, гадаю, галузь вимірює не те. Голос може звучати цілком природно, але агент усе одно може не впоратися із завданням, адже головне — чи доводить він його до кінця. Якщо вам доводиться постійно нагадувати йому, що ви робили, якість звучання голосу дуже швидко перестає мати значення.

Між вражаючою демонстрацією голосового ШІ та автономним агентом, здатним опрацьовувати реальні звернення клієнтів, є суттєва різниця. У чому вона полягає та які можливості потрібно вдосконалити, перш ніж компанії зможуть упевнено впроваджувати голосових агентів у критично важливі бізнес-процеси?

Коли ви востаннє із задоволенням телефонували своєму кабельному оператору? Для більшості людей відповідь — ніколи. Вас перекидають від одного працівника до іншого, і щоразу ви знову пояснюєте своє ім’я, дату народження та суть проблеми, щоб наступний працівник знову попросив вас розповісти все це. Уявімо, що ви телефонуєте з тією самою проблемою вже вчетверте. Ви хочете, щоб агент знав, що сталося під час перших трьох дзвінків. Якщо перезавантаження маршрутизатора не допомогло, можливо, час надіслати технічного спеціаліста, і вам не доводилося б самостійно доводити, що це потрібно. Для цього агенту потрібні історія вашого облікового запису та доступ до системи, у якій призначають візити.

Агент також має впоратися з невдалим бронюванням і розуміти, коли слід переключити вас на працівника, який справді може розв’язати проблему. Саме такі ситуації компанія має перевірити, перш ніж доручати агенту обробляти дзвінки клієнтів. Є й витрати на його роботу. Система, яка чудово показує себе під час демонстрації, може виявитися надто дорогою для обробки тисяч дзвінків на день. Тож ефективність — це складова готовності до впровадження в бізнесі, а не окреме питання.

Уже кілька місяців ми відпрацьовуємо саме такий сценарій із глобальною страховою компанією. Це не тестування паралельно зі справжньою системою: рішення обробляє реальні вхідні та вихідні розмови з клієнтами в її контакт-центрі, поруч із працівниками відділу продажів. Воно одночасно обробляє тисячі дзвінків — приблизно за третину вартості роботи людини-агента.

Ще цікавішим за економію коштів мені здається те, що система вдосконалювалася безпосередньо під час роботи. За оцінкою самої компанії, на початку якість наших розмов становила 30 балів. Через п’ять місяців вона сягнула 80 балів — саме такий результат компанія вважає рівнем кваліфікованого оператора телемаркетингу. GPT-4o Realtime набрала 55 балів за тією самою оцінкою. Ми досягли цього не завдяки налаштуванню в лабораторії. Система поліпшувалася на основі реальних дзвінків, які обробляла, а саме таке вдосконалення й важливе для контакт-центру.

Голосові агенти вже не лише відповідають на запитання, а й виконують завдання, отримують доступ до інформації про клієнтів і взаємодіють із корпоративними системами. Як розробникам знайти баланс між автономністю та людським наглядом? Які запобіжні заходи необхідні, щоб забезпечити довготривалу довіру до цих систем?

Я б почав із запитання: що саме ви довіряєте агенту? Дозволити йому перевірити баланс рахунку — зовсім не те саме, що дозволити переказувати гроші чи скасовувати послугу. Права доступу мають відповідати цим відмінностям, а системи, до яких агент підключається, повинні забезпечувати їх дотримання. Не можна покладати все це лише на інструкцію в запиті.

Люди також мають розуміти, на що погоджуються. Перш ніж агент внесе зміни, які буде складно скасувати, він має пояснити наслідки й попросити підтвердження. Тоді, якщо агент зайде в глухий кут, передати справу людині буде нескладно.

Помилки все одно траплятимуться. Коли це станеться, потрібно мати змогу побачити, що зробив агент і на якому етапі зупинився, щоб хтось міг виправити ситуацію. Упевнений голос може створити враження, ніби система знає, що робить, але таку довіру потрібно заслужити надійністю її роботи.

Higgs Realtime підтримує понад 100 мов, зокрема дає змогу перемикатися між ними під час розмови. Які найбільші технічні труднощі виникають під час забезпечення стабільної якості діалогового ШІ різними мовами, акцентами й стилями спілкування, особливо коли потрібно розпізнавати емоційний контекст і наміри користувача?

Охоплення мовами звучить як простий перелік, але насправді все значно складніше. Якось клієнтові знадобилася підтримка тайської. Ми частково її вже забезпечували, але насамперед з’ясували, що майже нічого не знаємо про саму тайську мову — починаючи з того, що в письмовій тайській практично немає розділових знаків. Через це порушуються припущення про межі речень, на яких ґрунтується більшість систем розпізнавання мовлення. Ми могли б відкласти вихід на цей ринок. Натомість ми знайшли фахівців із комп’ютерних наук, які розмовляли тайською, і належно перебудували обробку мови.

Приблизно через шість тижнів ми вже демонстрували систему в Бангкоку. Під час демонстрації я не міг зрозуміти, як усе проходить: я слухав, як люди тестують систему мовою, якої не знаю. Після цього вони сказали, що все добре, і це було неабияким полегшенням. Правила спілкування відрізняються не менше, ніж словниковий склад. У японській мові слухачі вставляють короткі репліки, поки ви говорите, щоб показати, що вони стежать за розмовою. Якщо асистент щоразу зупинятиметься, щоб передати співрозмовникові чергу говорити, це зруйнує ритм розмови.

Слова можуть бути бездоганними, а розмова все одно не складеться. І те, як ви щось говорите, не менш важливе, ніж те, що саме ви говорите. Ті самі слова можна вимовити лагідно або саркастично, і доречна відповідь у кожному випадку буде зовсім іншою. Зберігати інтонацію й контекст, коли посеред речення змінюється мова, — значна частина того, що мене в цьому захоплює.

Такі компанії, як OpenAI і Google, активно інвестують у мультимодальний ШІ реального часу. Як спеціалізована компанія на кшталт Boson AI може конкурувати з організаціями, що мають значно більше обчислювальних ресурсів, і де ви бачите найбільші можливості для диференціації з погляду архітектури моделей, продуктивності та економіки інференсу?

Більші обчислювальні ресурси не означають автоматично, що ви використовуєте їх ефективно. Під час розмови в реальному часі можна витратити чимало грошей на запуск дуже потужної моделі лише для того, щоб обробити чиєсь «гм» або «так, мабуть». Така модель витрачатиме значну частину своїх інтелектуальних можливостей на розпізнавання слів-паразитів. Обчислювальні ресурси коштують дорого й потребують багато енергії; інференс також. Зрештою за це платить клієнт.

Люди розв’язують цю проблему, розподіляючи увагу. Ви можете сидіти в кав’ярні й вести трохи нудну розмову, а паралельно, на тлі, обмірковувати, що приготувати на вечерю. Увага зосереджена на розмові, але співрозмовник раптом ставить справді складне запитання — і ви цілковито занурюєтеся в нього, віддаючи йому всю свою увагу. Так само ми створюємо розмовні системи.

Недорога модель обробляє основну частину розмови, а дорожчі міркування та виклики інструментів підключаються, коли завдання цього справді потребує. Інша складова нашого підходу — ми придбали обчислювальні ресурси, а не орендували їх. Підрахунок нескладний: візьміть погодинну вартість хмарного сервера, помножте її на кількість годин у році — і отримаєте суму, близьку до вартості придбання обладнання. Ми визначили точку беззбитковості окремо для кожного компонента й відштовхувалися від цього. Це виявилося складніше, ніж може здатися, і не все пройшло ідеально. Проте такий підхід виключає масштабування за рахунок простого нарощування ресурсів, а отже, кожне покращення має бути результатом кращих даних і досконалішої архітектури. З’ясувалося також, що це захистило нас: компоненти, які нам пропонували менш ніж за 100 000 доларів, через шість місяців коштували приблизно вдвічі дорожче. Ми можемо швидко рухатися вперед, бо ми невелика команда, зосереджена на одному напрямі. Дослідник може сам узяти ідею, перевірити її й інтегрувати в продукт. Крім того, ми користуємося здобутками спільноти відкритих досліджень і ділимося з нею власними напрацюваннями, завдяки чому невелика команда може зробити значно більше, ніж можна було б очікувати від її розміру.

У своєму дослідженні ProactBench ви вивчаєте важливий аспект розмовного інтелекту: здатність розпізнавати потреби користувачів, навіть якщо вони прямо про них не попросили. Як, на вашу думку, голосові агенти перетворюватимуться з асистентів, що лише реагують на запити, на проактивних партнерів, і де мають проходити межі між передбаченням потреб користувача та надмірним втручанням?

Припустімо, ви записуєтеся на прийом до лікаря й на початку розмови згадуєте, що не можете керувати автомобілем. Хороший асистент запам’ятає це й запропонує дистанційний прийом або допоможе організувати транспорт. Вам не доведеться повторювати цю інформацію.

Саме це ми досліджуємо за допомогою ProactBench: чи може асистент використати те, що ви йому розповіли, щоб передбачити ваші потреби й запропонувати допомогу, про яку ви прямо не просили.

Звісно, можливо, ви вже домовилися, щоб вас підвезли на прийом. Асистент має запропонувати цей варіант і дати вам вирішити, а не вважати, що знає ваші плани. Я хотів би, щоб такі системи заощаджували людям зусилля, але залишали за ними контроль над тим, що відбувається.

Якщо зазирнути на п’ять років уперед, чи вважаєте ви, що голос стане основним інтерфейсом взаємодії людей зі штучним інтелектом і програмним забезпеченням? Якщо так, як ця трансформація може змінити традиційні застосунки, корпоративне програмне забезпечення, а також роль екранів і графічних інтерфейсів користувача?

Гадаю, ми значно частіше спілкуватимемося з комп’ютерами, нерідко використовуючи й відео. Якщо ви бачите, що людина розгубилася, то розумієте: можливо, потрібно пояснити щось інакше. Наша аудіовізуальна демонстрація показує, як може починатися така взаємодія: ШІ реагує і на те, що бачить, і на те, що чує.

Для написання коду я й досі віддаю перевагу клавіатурі, а коли порівнюю інформацію, то, можливо, захочу бачити її на екрані, щоб переглядати у власному темпі.

Що стосується бізнес-програмного забезпечення, я можу уявити, що завдання можна починати з пояснення, що мені потрібно, а потім переглядати результат на екрані й безпосередньо вносити зміни. Протягом наступних п’яти років, на мою думку, перемикатися між такими способами роботи стане значно легше. Можна буде говорити, коли це зручно, і користуватися екраном, коли потрібна точність.

Дякуємо за чудове інтерв’ю. Читачам, які хочуть дізнатися більше про розмовний голосовий ШІ та корпоративних голосових агентів, варто відвідати Boson AI.