Alex Smola, сооснователь Boson AI: серия интервью

Alex Smola — сооснователь Boson AI, где он занимается разговорными голосовыми ИИ-системами и мультимодальными системами. Его карьера охватывает академические исследования в Carnegie Mellon University и масштабные проекты в области ИИ в AWS. Он использует этот исследовательский и продуктовый опыт, создавая ассистентов, способных понимать особенности диалога, справляться с перебиваниями и выполнять полезные задачи.

Boson AI разрабатывает базовые модели и инструменты для голосового, аудио- и мультимодального взаимодействия. Модель Higgs Realtime поддерживает диалоги в реальном времени с преобразованием речи в речь, а более широкая платформа компании включает выразительную генерацию речи, аватары и корпоративных голосовых агентов. В этом интервью Смола рассказывает о диалоговом интеллекте, работе на нескольких языках, экономике инференса и мерах предосторожности, необходимых для внедрения голосовых агентов в реальные бизнес-процессы.

Ваша карьера привела вас от академических исследований в Carnegie Mellon University к руководству масштабными проектами в области ИИ в AWS, а теперь — к соучредительству Boson AI. Что побудило вас сосредоточиться на разговорном голосовом ИИ и какие принципиальные ограничения взаимодействия человека с ИИ вы надеетесь преодолеть?

Люди общаются не только словами. По голосу можно услышать неуверенность, а по реакции — понять, что человек не разобрался в объяснении. Короткое подтверждение может подсказать, что нужно продолжать. Мы распознаём такие сигналы, не задумываясь, но компьютеры пока только учатся их понимать.

Именно поэтому эта область так интересна мне. Сейчас у нас есть системы с весьма развитыми интеллектуальными способностями, но общаться с ними по-прежнему бывает неловко. Я хочу, чтобы люди могли объяснять, что им нужно, своими словами, не пытаясь заранее понять, как именно следует обращаться к программе.

В AWS я научился внимательно прислушиваться к тому, чего пытаются добиться клиенты, и оценивать, помогает ли им продукт в этом. Мы перенесли этот подход в Boson, сохранив возможность быстро действовать по мере развития исследований.

Голос и видео дают нам больше информации. Если собеседник выглядит растерянным или заминается, ассистент может отреагировать, прежде чем разговор пойдёт не по плану. Умение правильно вести себя в таких повседневных ситуациях — важная часть наших амбиций.

Boson AI недавно представила Higgs Realtime, созданную для естественного взаимодействия в реальном времени с преобразованием речи в речь. Чем этот подход принципиально отличается от традиционных систем, объединяющих распознавание речи, языковые модели и синтез речи, и почему это различие важно для будущего ИИ-ассистентов?

В традиционной системе распознавания речи слова преобразуются в текст, языковая модель генерирует ответ, а речевая модель озвучивает его. Каждый этап зависит от предыдущего, из-за чего диалог может казаться медленным и отрывистым.

Higgs Realtime — аудиоориентированная модель преобразования речи в речь, созданная для общения в реальном времени. При её обучении учитываются особенности диалога, в том числе очередность реплик и реакция на изменение запросов. Это совсем не то же самое, что просто добавить голос к текстовому чат-боту.

Представьте, что вы задаёте кому-то сложный вопрос. Пока человек ищет ответ, он может сказать: «Дайте мне это проверить». Вы понимаете, что он вас услышал и занимается вашим вопросом. ИИ-ассистент должен вести себя так же, пока ищет информацию или использует инструмент, чтобы вам не приходилось гадать, понял ли он вас или перестал работать.

Это особенно важно при выполнении длительных задач. Ассистент должен сообщать вам о ходе работы и реагировать, если вы зададите вопрос или передумаете.

Одна из главных трудностей разговорного ИИ — определить, когда нужно говорить, когда слушать и как реагировать на перебивания или смену темы. Как Boson AI решает эти задачи и какие технические прорывы ещё необходимы, чтобы разговоры с ИИ стали по-настоящему естественными?

Реплика-подтверждение и перебивание могут звучать очень похоже, но реагировать на них нужно по-разному. Если собеседник говорит «угу», пока вы говорите, возможно, он хочет, чтобы вы продолжали. Если он поправляет цифру в своём номере телефона, нужно остановиться и использовать правильный номер. ИИ-ассистент должен уметь различать эти ситуации.

Higgs Realtime учитывает смысл сказанного, чтобы определить, закончил ли человек говорить или просто сделал паузу. Быстрая реакция важна, но не менее важно понимать, как именно следует отреагировать.

Пока стабильно справляться с этим довольно трудно. Люди не говорят строго по очереди, а одни и те же слова могут означать разное в зависимости от разговора. Ассистент должен понимать, что изменилось, и помнить, чем он занимался.

Boson AI разработала такие тесты, как IHBench, чтобы оценивать, насколько хорошо голосовые агенты справляются с перебиваниями и продолжают разговор. Что эти оценки показали о слабых местах ведущих современных голосовых моделей и как отрасли следует переосмыслить способы измерения диалогового интеллекта?

Мы создали IHBench, чтобы проверить, что происходит, когда кто-то перебивает голосового агента. Если в середине бронирования вы исправляете какую-то деталь, агент должен учесть поправку и продолжить с нужного места. Вам не должно приходиться начинать сначала или выслушивать информацию, которую агент уже сообщил. Результаты сильно различались в зависимости от модели и типа перебивания. Один вывод нам было не особенно приятно публиковать: системы с закрытыми весами в целом лучше справлялись с перебиваниями, и их преимущество становилось заметнее, чем дальше по разговору происходило перебивание.

Это серьёзный пробел в экосистеме моделей с открытыми весами, и мы предпочитаем открыто измерять его, а не делать вид, будто его нет. Это также главная причина существования этого бенчмарка. Нельзя устранить пробел, если никто не договорился, как его измерять. Мы опубликовали бенчмарк, не включая в него собственную модель. Когда мы всё же добавили такую модель, Higgs Realtime набрала 71,2 балла по качеству восстановления, опередив GPT Realtime 1.5 с результатом 65,5, GPT Realtime 2 с результатом 62,4 и Gemini 3.1 Flash Live с результатом 61,1. Значит, этот разрыв можно устранить — и его устранила модель с открытыми весами.

Я предпочёл бы показать это на тесте, который мы разработали так, чтобы он был сложным, и опубликовали ещё до того, как нам было что продемонстрировать. В более широком смысле я считаю, что отрасль измеряет не те показатели. Голос может звучать совершенно естественно, но агент всё равно не справится с задачей, ведь главный критерий — доводит ли он её до конца. Если вам постоянно приходится напоминать ему, чем вы занимались, качество звучания очень быстро перестаёт иметь значение.

Между впечатляющей демонстрацией голосового ИИ и автономным агентом, способным обрабатывать реальные обращения клиентов, существует существенная разница. В чём она заключается и какие возможности необходимо улучшить, прежде чем компании смогут уверенно внедрять голосовых агентов в критически важные бизнес-процессы?

Когда вы в последний раз с удовольствием звонили своему кабельному оператору? Для большинства людей ответ — никогда. Вас переключают от одного сотрудника к другому, и каждый раз вам приходится заново называть своё имя, дату рождения и объяснять проблему, чтобы следующий сотрудник снова попросил вас сообщить всё это. Представьте, что вы звоните по поводу той же проблемы уже в четвёртый раз. Вы хотите, чтобы агент знал, что произошло во время первых трёх звонков. Если перезагрузка маршрутизатора не помогла, возможно, пора отправить техника, и вам не должно приходиться самому доказывать, что это необходимо. Чтобы сделать это, агенту нужны история вашего аккаунта и доступ к системе, в которой назначают выезд.

Агент также должен уметь действовать, если бронирование не удаётся, и понимать, когда нужно переключить вас на сотрудника, который действительно сможет решить проблему. Именно такие ситуации компаниям необходимо проверять, прежде чем поручать агенту обработку звонков клиентов. Нужно учитывать и стоимость его работы. Система, которая отлично справляется с демонстрацией, может оказаться слишком дорогой при обработке тысяч звонков в день. Поэтому эффективность — не отдельная задача, а часть готовности к работе в бизнесе.

Уже несколько месяцев мы используем именно этот сценарий в работе с международной страховой компанией. Это не испытание, которое проводится параллельно с реальной системой. Агент обрабатывает реальные входящие и исходящие обращения клиентов в контакт-центре компании, работая наряду с её сотрудниками по продажам. Тысячи одновременных звонков — примерно за треть стоимости работы сотрудника.

Больше стоимости меня впечатляет то, что система улучшалась непосредственно в процессе работы. По результатам собственной оценки компании, в начале качество наших диалогов составляло 30 баллов. Через пять месяцев оно достигло 80 баллов — именно такой результат компания считает показателем квалифицированного оператора телемаркетинга. В той же оценке GPT-4o Realtime набрала 55 баллов. Мы добились этого не за счёт настройки модели в лаборатории. Система улучшалась на потоке обращений, которые действительно обрабатывала, а именно такой прогресс и важен контакт-центру.

Голосовые агенты переходят от ответов на вопросы к выполнению задач, получению доступа к клиентской информации и взаимодействию с корпоративными системами. Как разработчикам найти баланс между автономностью и контролем со стороны человека? Какие меры защиты необходимы, чтобы обеспечить долгосрочное доверие к этим системам?

Я бы начал с вопроса: что именно вы доверяете агенту? Возможность проверить баланс счёта сильно отличается от разрешения переводить деньги или отменять услугу. Разрешения должны учитывать эту разницу, а подключённые системы должны обеспечивать их соблюдение. Нельзя полагаться только на инструкцию в запросе.

Люди также должны понимать, на что они соглашаются. Прежде чем внести изменение, которое будет трудно отменить, агент должен объяснить последствия и запросить подтверждение. Тогда, если он зайдёт в тупик, передать вопрос сотруднику будет несложно.

Сбои всё равно будут происходить. В таких случаях необходимо видеть, что сделал агент и на каком этапе остановился, чтобы кто-то мог исправить ситуацию. Уверенный голос может заставить нас предположить, что система знает, что делает, но такое доверие нужно заслужить надёжностью её работы.

Higgs Realtime поддерживает более 100 языков и может переключаться между ними в ходе разговора. Каковы главные технические сложности при обеспечении стабильного качества диалога на разных языках, с разными акцентами и стилями общения — особенно когда речь идёт о понимании эмоционального контекста и намерений пользователя?

Поддержка языков звучит как простое перечисление, но это совсем не так. Некоторое время назад одному клиенту понадобился тайский язык. Мы поддерживали его лишь частично, и первое, что выяснилось: мы совершенно не знали особенностей тайского — начиная с того, что в письменном тайском практически нет знаков препинания. Из-за этого рушатся предположения о границах предложений, на которых построено большинство систем распознавания речи. Мы могли бы отложить выход на этот рынок. Вместо этого мы нашли специалистов по информатике, говоривших по-тайски, и как следует перестроили обработку языка.

Примерно через шесть недель мы уже были в Бангкоке и демонстрировали систему. Во время демонстрации я не мог понять, как всё проходит: я слушал, как люди тестируют систему на языке, которого не знаю. После презентации они сказали, что всё хорошо, и я испытал огромное облегчение. Правила общения различаются не меньше, чем словарный запас. В японском языке слушатели издают короткие звуки подтверждения, пока вы говорите, показывая, что следят за разговором. Если ассистент каждый раз будет прерываться, чтобы передать собеседнику очередь говорить, он разрушит ритм беседы.

Даже если слова подобраны идеально, разговор всё равно может не получиться. Важно не только то, что вы говорите, но и то, как вы это произносите. Одни и те же слова можно сказать ласково или саркастически, и уместная реакция в каждом случае будет совершенно разной. Мне особенно интересно, как сохранять интонацию и контекст, когда язык меняется прямо посреди предложения.

Такие компании, как OpenAI и Google, активно инвестируют в мультимодальный ИИ, работающий в реальном времени. Как специализированная компания, например Boson AI, может конкурировать с организациями, располагающими значительно большими вычислительными ресурсами? В чём, на ваш взгляд, кроются главные возможности для дифференциации с точки зрения архитектуры моделей, производительности и экономики инференса?

Наличие большего объёма вычислительных ресурсов само по себе не означает, что вы используете их эффективно. Во время разговора в реальном времени можно потратить немало денег на запуск очень мощной модели, чтобы обработать чьё-нибудь «хм» или «да, наверное». Такая модель будет расходовать значительную часть своих возможностей на то, чтобы слушать слова-паразиты. Мозговые ресурсы обходятся дорого и требуют много энергии; инференс — тоже. В конечном счёте за это платит клиент.

Люди справляются с этим, распределяя внимание. Можно сидеть в кофейне и вести немного скучный разговор, а где-то на заднем плане сознания обдумывать, что приготовить на ужин. Основная часть внимания при этом сосредоточена на беседе. Но если собеседник задаёт действительно сложный вопрос, вы полностью погружаетесь в разговор и направляете на него все свои силы. Мы строим диалоговые системы по тому же принципу.

С простыми задачами справляется недорогая модель, а более дорогие рассуждения и обращения к инструментам подключаются, только когда задача действительно этого требует. Кроме того, вычислительные ресурсы мы купили, а не арендовали. Подсчёт несложный: возьмите почасовую стоимость облачного сервера, умножьте её на количество часов в году — и получите сумму, близкую к полной стоимости оборудования при покупке. Мы рассчитали точку безубыточности для каждого компонента и исходили из этих расчётов. На деле всё оказалось сложнее, чем может показаться, и не всё прошло гладко. Но такой подход исключает возможность просто наращивать мощности грубой силой, а значит, каждый прирост должен обеспечиваться более качественными данными и архитектурой. Выяснилось и ещё одно преимущество: компоненты, которые нам предлагали менее чем за 100 000 долларов, уже через шесть месяцев стоили примерно вдвое дороже. Мы можем действовать быстро, потому что у нас небольшая команда, сосредоточенная на одной задаче. Исследователь может сам предложить идею, проверить её и внедрить в продукт. Кроме того, мы пользуемся результатами открытых исследований и вносим в них свой вклад, благодаря чему небольшая команда может сделать гораздо больше, чем можно было бы ожидать от её размера.

В вашем исследовании ProactBench рассматривается важный аспект диалогового интеллекта: способность понимать, что нужно пользователям, даже если они прямо об этом не просили. Как, по-вашему, голосовые агенты будут превращаться из реагирующих на запросы помощников в инициативных партнёров? Где должна проходить граница между предугадыванием потребностей пользователя и вмешательством без его просьбы?

Представим, что вы записываетесь на приём к врачу и в начале разговора упоминаете, что не умеете водить. Хороший ассистент запомнит это и предложит дистанционный приём или поможет организовать транспорт. Вам не должно приходиться повторять эту информацию.

Именно это мы изучаем с помощью ProactBench: может ли ассистент использовать сообщённую ему информацию, чтобы предугадывать ваши потребности и предлагать помощь, о которой вы прямо не просили.

Разумеется, вы могли уже договориться, чтобы вас подвезли на приём. Ассистент должен предложить такой вариант и предоставить решение вам, а не делать вид, будто знает ваши планы. Мне хотелось бы, чтобы эти системы избавляли людей от лишних хлопот, но при этом оставляли за ними контроль над происходящим.

Как вы думаете, станет ли голос в ближайшие пять лет основным способом взаимодействия людей с ИИ и программным обеспечением? Если да, как эта трансформация может изменить традиционные приложения и корпоративные программы, а также роль экранов и графических пользовательских интерфейсов?

Думаю, мы будем гораздо чаще разговаривать с компьютерами, нередко используя и видео. Если вы видите, что человек выглядит озадаченным, понимаете, что, возможно, нужно объяснить что-то иначе. Наша демонстрация аудио и видео показывает, как может начинаться такое взаимодействие: ИИ реагирует и на то, что видит, и на то, что слышит.

Для написания кода я по-прежнему предпочитаю клавиатуру, а если сравниваю информацию, мне, возможно, удобнее видеть её на экране и изучать в собственном темпе.

В случае с бизнес-программами я могу представить, что задачу можно будет начать с объяснения того, что мне нужно, затем просмотреть результат на экране и сразу внести изменения. Думаю, в течение следующих пяти лет переключаться между такими способами работы станет гораздо проще. Можно будет разговаривать, когда это удобно, и пользоваться экраном, когда нужна точность.

Спасибо за отличное интервью. Читателям, которые хотят узнать больше о разговорном голосовом ИИ и корпоративных голосовых агентах, стоит посетить Boson AI.