Жан-Луи Кегинер, Основатель и Генеральный Директор Gladia – Интервью

Жан-Луи Кегинер является основателем и генеральным директором Gladia. Ранее он занимал должность вице-президента группы по данным, ИИ и квантовым вычислениям в OVHcloud, одном из ведущих облачных провайдеров Европы. Он имеет степень магистра в области символического ИИ в Университете Квебека в Канаде и в Arts et Métiers ParisTech в Париже. На протяжении своей карьеры он занимал значимые должности в различных отраслях, включая финансовую аналитику данных, приложения машинного обучения для цифровой рекламы в реальном времени и разработку API для речевого ИИ.

Gladia предоставляет передовые возможности транскрипции аудио и реального ИИ для бесшовной интеграции в продукты различных отраслей, языков и технологических стеков. Оптимизируя передовые модели ASR и генеративного ИИ, она обеспечивает точную, без задержек обработку речи и языка. Платформа Gladia также позволяет извлекать информацию и метаданные из звонков и встреч в реальном времени, поддерживая ключевые корпоративные случаи использования, такие как помощь в продажах и автоматизированная поддержка клиентов.

Что вдохновило вас решить проблемы в технологии речи в текст (STT), и какие пробелы вы увидели на рынке?

Когда я основал Gladia, первоначальной целью было широкое – компания по ИИ, которая сделает сложную технологию доступной. Но когда мы глубже погрузились, стало ясно, что технология голоса была самой сломанной и, в то же время, самой критической областью, на которую нужно было сосредоточиться.

Голос является центральным в нашей повседневной жизни, и большая часть нашей коммуникации происходит через речь. Однако инструменты, доступные разработчикам для работы с данными голоса, были недостаточными в плане скорости, точности и цены – особенно на разных языках.

Я хотел исправить это, чтобы упаковать сложность технологии голоса в нечто простое, эффективное, мощное и доступное. Разработчикам не следует беспокоиться о тонкостях моделей ИИ или нюансах длины контекста в распознавании речи. Моя цель была создать корпоративный API для распознавания речи, который работал бы бесшовно, независимо от основной модели или технологии -真正е решение “плаг и играй”.

Какие уникальные проблемы вы столкнулись при создании решения для транскрипции для корпоративного использования?

Когда речь идет о распознавании речи, скорость и точность – два ключевых показателя производительности в этой области – являются обратно пропорциональными по конструкции. Это означает, что улучшение одного будет компрометировать другое, по крайней мере, в некоторой степени. Фактор стоимости, в большой степени, является результатом выбора поставщика между скоростью и качеством.

Когда мы строили Gladia, нашей целью было найти идеальный баланс между этими двумя факторами, обеспечивая при этом, чтобы технология оставалась доступной для стартапов и малых и средних предприятий. В процессе мы также поняли, что основные модели ASR, такие как Whisper от OpenAI, с которыми мы работали обширно, предвзяты и сильно смещены в сторону английского языка из-за их обучающих данных, что оставляет много языков недопредставленными.

Итак, помимо решения проблемы компромисса между скоростью и точностью, было важно для нас – как европейской, многоязычной команды – оптимизировать и тонко настроить наши основные модели, чтобы построить действительно глобальный API, который помогает бизнесу работать на разных языках.

Как Gladia отличается на переполненном рынке транскрипции ИИ? Что делает ваш Whisper-Zero ASR уникальным?

Наш новый реальный движок (Gladia Real Time) достигает лидирующей в отрасли задержки в 300 мс. Кроме того, он может извлекать информацию из звонка или встречи с помощью так называемых “аудио-интеллектуальных” дополнений или функций, таких как распознавание именованных сущностей (NER) или анализ настроений.

На наш взгляд, очень немногие конкуренты могут предоставить как транскрипцию, так и информацию с такой низкой задержкой (менее 1 секунды от конца до конца) – и все это точно на языках, кроме английского. Наша поддержка языков распространяется на более чем 100 языков сегодня.

Мы также уделяем особое внимание тому, чтобы сделать продукт真正 агностическим к стеку. Наш API совместим со всеми существующими технологическими стеками и протоколами телефонии, включая SIP, VoIP, FreeSwitch и Asterisk. Протоколы телефонии особенно сложны для интеграции, поэтому мы считаем, что этот аспект продукта может принести огромную ценность на рынок.

Галлюцинации в моделях ИИ являются серьезной проблемой, особенно в реальном времени транскрипции. Можете ли вы объяснить, что такое галлюцинации в контексте STT и как Gladia решает эту проблему?

Галлюцинация обычно происходит, когда модель не имеет знаний или не имеет достаточно контекста по теме. Хотя модели могут производить выходные данные, адаптированные к запросу, они могут ссылаться только на информацию, существовавшую на момент их обучения, и это может быть не актуально. Модель создает связные ответы, заполняя пробелы информацией, которая звучит правдоподобно, но является неверной.

Хотя галлюцинации стали известны в контексте больших языковых моделей (LLM) первыми, они также происходят с моделями распознавания речи – такими как Whisper ASR, ведущая модель в этой области, разработанная OpenAI. Галлюцинации Whisper похожи на те, что в LLM, из-за аналогичной архитектуры, поэтому это проблема, которая касается генеративных моделей, способных предсказывать слова, следующие по контексту. По сути, они “изобретают” выходные данные.

Это подход можно противопоставить более традиционным, основанным на акустике, архитектурам ASR, которые сопоставляют входной звук с выходным в более механическом виде.

В результате вы можете найти слова в транскрипте, которые не были фактически произнесены, что явно проблематично, особенно в областях, таких как медицина, где ошибка такого рода может иметь серьезные последствия.

Существуют несколько методов управления и обнаружения галлюцинаций. Одним из распространенных подходов является использование системы генерации с поддержкой извлечения (RAG), которая сочетает генеративные возможности модели с механизмом извлечения для проверки фактов. Другой метод включает в себя использование подхода “цепочки мысли”, при котором модель руководствуется через ряд предопределенных шагов или контрольных точек, чтобы обеспечить ее логический путь.

Другой стратегией обнаружения галлюцинаций является использование систем, которые оценивают правдивость выходных данных модели во время обучения. Существуют бенчмарки, специально разработанные для оценки галлюцинаций, которые включают сравнение различных кандидатных ответов, сгенерированных моделью, и определение, какой из них является наиболее точным.

Мы в Gladia экспериментировали с комбинацией техник при создании Whisper-Zero, нашей проприетарной ASR, которая практически устраняет все галлюцинации. Она показала отличные результаты в асинхронной транскрипции, и мы сейчас оптимизируем ее для реального времени, чтобы достичь той же 99,9% информационной целостности.

Технология STT должна обрабатывать широкий спектр сложностей, таких как акценты, шум и многоязычные разговоры. Как Gladia решает эти проблемы, чтобы обеспечить высокую точность?

Обнаружение языка в ASR является чрезвычайно сложной задачей. Каждый диктор имеет уникальную вокальную сигнатуру, которую мы называем особенностями. Анализируя вокальный спектр, алгоритмы машинного обучения могут выполнять классификации, используя коэффициенты частотной цепочки Мель (MFCC), чтобы извлечь основные частотные характеристики.

MFCC – это метод, вдохновленный человеческим слуховым восприятием. Это часть области “психоакустики”, которая фокусируется на том, как мы воспринимаем звук. Он подчеркивает более низкие частоты и использует техники, такие как нормализованная разложение Фурье, чтобы преобразовать аудио в частотный спектр.

Однако этот подход имеет ограничение: он основан исключительно на акустике. Итак, если вы говорите по-английски с сильным акцентом, система может не понять содержание, а вместо этого судить на основе вашей просодии (ритма, стресса, интонации).

Именно здесь появляется инновационное решение Gladia. Мы разработали гибридный подход, который сочетает психоакустические особенности с пониманием контекста для динамического обнаружения языка.

Наша система не только слушает, как вы говорите, но и понимает, что вы говорите. Этот двойной подход позволяет эффективно переключаться между языками и не позволяет сильным акцентам быть неправильно представленными или неправильно понятыми.

Переключение кода – это особенно важная функция при обработке многоязычных разговоров. Дикторы могут переключаться между языками в середине разговора (или даже в середине предложения), и способность модели транскрибировать точно на лету, несмотря на переключение, является критической.

API Gladia уникален в своей способности обрабатывать переключение кода с таким количеством языковых пар и с высоким уровнем точности, и работает хорошо даже в шумной среде, известной снижением качества транскрипции.

Реальная транскрипция требует сверхнизкой задержки. Как ваш API достигает задержки менее 300 миллисекунд, сохраняя при этом точность?

Поддержание задержки ниже 300 миллисекунд при сохранении высокой точности требует многогранного подхода, который сочетает экспертизу в области аппаратного обеспечения, оптимизацию алгоритмов и архитектурный дизайн.

Реальный ИИ не похож на традиционное вычисление – он тесно связан с мощностью и эффективностью GPGPU. Я работал в этой области почти десятилетие, возглавляя отдел ИИ в OVHCloud (крупнейшем облачном провайдере в ЕС), и узнал на собственном опыте, что это всегда вопрос нахождения правильного баланса: сколько мощности аппаратного обеспечения вам нужно, сколько это стоит и как вы адаптируете алгоритмы, чтобы они работали безупречно с этим аппаратным обеспечением.

Производительность в реальном ИИ исходит от эффективного выравнивания наших алгоритмов с возможностями аппаратного обеспечения, обеспечивая, чтобы каждая операция максимизировала пропускную способность, минимизируя задержки.

Но это не только ИИ и аппаратное обеспечение. Архитектура системы играет большую роль, особенно сеть, которая может существенно повлиять на задержку. Наш технический директор, который имеет глубокий опыт в проектировании сетей с низкой задержкой из своего времени в Sigfox (первопроходце IoT), оптимизировал нашу настройку сети, чтобы сэкономить ценные миллисекунды.

Итак, это действительно смесь всех этих факторов – умных выборов аппаратного обеспечения, оптимизированных алгоритмов и сетевого дизайна – что позволяет нам последовательно достигать задержки менее 300 мс без компрометации точности.

Gladia выходит за рамки транскрипции с функциями, такими как диаризация диктора, анализ настроений и транскрипты с временными метками. Какие инновационные применения вы видели у своих клиентов, использующих эти инструменты?

ASR открывает широкий спектр приложений для платформ в различных вертикалях, и было удивительно видеть, сколько真正 пионерских компаний появилось за последние два года, использующих LLM и наш API для создания передовых, конкурентных продуктов. Вот некоторые примеры:

• Умная запись заметок: Многие клиенты строят инструменты для профессионалов, которым нужно быстро захватить и организовать информацию из рабочих встреч, лекций студентов или медицинских консультаций. С диаризацией диктора наш API может определить, кто сказал что, что делает легко следить за разговорами и назначать пункты действий. В сочетании с транскриптами с временными метками пользователи могут сразу перейти к конкретным моментам в записи, экономя время и гарантируя, что ничего не теряется в переводе.
• Активация продаж: В мире продаж скорость и точные идеи являются всем. Команды используют наш анализ настроений, чтобы получить реальные идеи о том, как клиенты реагируют во время звонков или демонстраций. Кроме того, транскрипты с временными метками помогают командам пересмотреть ключевые части разговора, чтобы усовершенствовать свою презентацию или решить проблемы клиентов более эффективно. Для этого конкретного случая NER также является ключевым для выявления имен, данных компаний и другой информации, которая может быть извлечена из звонков продаж, чтобы автоматически заполнить CRM.
• Помощь в звонках: Компании в области контакт-центров используют наш API, чтобы предоставить живую помощь агентам, а также для флагирования настроений клиентов во время звонков. Диаризация диктора гарантирует, что все, что говорится, назначается правильному человеку, в то время как транскрипты с временными метками позволяют руководителям просматривать критические моменты или проблемы соблюдения правил быстро. Это не только улучшает опыт клиента – с лучшим разрешением на звонке и контролем качества – но и повышает производительность и удовлетворенность агентов.

Можете ли вы обсудить роль пользовательских словарей и распознавания сущностей в улучшении надежности транскрипции для корпоративных пользователей?

Многие отрасли полагаются на специализированную терминологию, названия брендов и уникальные языковые нюансы. Интеграция пользовательских словарей позволяет решению STT адаптироваться к этим конкретным потребностям, что имеет решающее значение для захвата контекстных нюансов и предоставления выходных данных, точно отражающих ваши бизнес-потребности. Например, это позволяет создать список домен-специфических слов, таких как названия брендов, на конкретном языке.

Почему это полезно: адаптация транскрипции к конкретной вертикали позволяет минимизировать ошибки в транскриптах, достигая лучшего пользовательского опыта. Эта функция особенно критична в областях, таких как медицина или финансы.

Распознавание именованных сущностей (NER) извлекает и идентифицирует ключевую информацию из неструктурированных аудиоданных, таких как имена людей, организаций, мест и т. д. Обычной проблемой при работе с неструктурированными данными является то, что эта критическая информация не легко доступна – она скрыта внутри транскрипта.

Чтобы решить эту проблему, Gladia разработала структурированный подход к извлечению ключевых данных (KDE). Используя генеративные возможности своей архитектуры, основанной на Whisper – аналогично LLM – KDE Gladia захватывает контекст, чтобы выявить и извлечь актуальную информацию напрямую.

Этот процесс может быть дополнительно улучшен с помощью функций, таких как пользовательские словари и NER, что позволяет бизнесу быстро и эффективно заполнять CRM ключевыми данными.

По вашему мнению, как реальная транскрипция преобразует отрасли, такие как поддержка клиентов, продажи и создание контента?

Реальная транскрипция преобразует эти отрасли глубокими способами, стимулируя невероятные производственные выигрыши, в сочетании с осязаемыми бизнес-выгодами.

Во-первых, реальная транскрипция является прорывом для команд поддержки. Реальная помощь является ключом к улучшению разрешения благодаря более быстрым ответам, умным агентам и лучшим результатам (в плане NSF, времени обработки и т. д.). Когда системы ASR становятся лучше и лучше в обработке неанглийских языков и реального перевода, контакт-центры могут достичь действительно глобального опыта клиента при более низких затратах.

В продажах скорость и точные идеи являются всем. Аналогично тому, что происходит с агентами по звонкам, реальная транскрипция оснащает их правильными идеями в правильное время, позволяя им сосредоточиться на том, что имеет значение больше всего при заключении сделок.

Для создателей реальная транскрипция, возможно, менее актуальна сегодня, но все же полна потенциала, особенно когда речь идет о живых субтитрах и переводе во время медиа-событий. Наши текущие клиенты в медиа-сфере все еще предпочитают асинхронную транскрипцию, поскольку скорость менее критична там, а точность является ключом для приложений, таких как редактирование видео с временными метками и генерация субтитров.

Реальная транскрипция ИИ, кажется, является растущей тенденцией. Куда вы видите эту технологию, движущуюся в течение следующих 5-10 лет?

Я чувствую, что это явление, которое мы теперь называем реальным ИИ, будет везде. По сути, о чем мы говорим здесь, является беспрепятственной способностью машин взаимодействовать с людьми, как мы, люди, уже взаимодействуем друг с другом.

И если вы посмотрите на любой голливудский фильм (например, “Она”), действие которого происходит в будущем, вы никогда не увидите там, как кто-то взаимодействует с интеллектуальными системами через клавиатуру. Для меня это служит окончательным доказательством того, что в коллективном воображении человечества голос всегда будет основным способом взаимодействия с миром вокруг нас.

Голос, как основной вектор для агрегации и обмена человеческими знаниями, был частью человеческой культуры и истории намного дольше, чем письмо. Затем письмо взяло верх, потому что оно позволило нам сохранить наши знания более эффективно, чем полагаться на сообщества старейшин, чтобы быть хранителями наших историй и мудрости.

Системы ИИ, способные понимать речь, генерировать ответы и хранить наши взаимодействия, принесли что-то совершенно новое в эту область. Это лучшее из обоих миров и лучшее из человечества. Это дает нам уникальную силу и энергию голосовой коммуникации с преимуществом памяти, которое ранее только письменные средства массовой информации могли обеспечить нам. Это почему я считаю, что это будет везде – это наше окончательное коллективное стремление.

Спасибо за отличное интервью, читателям, которые хотят узнать больше, следует посетить Gladia.