Block представляет Dessa — полнодуплексную речевую модель, обученную на живом разговоре

Внутренняя исследовательская лаборатория Block, занимающаяся ИИ, объявила о Dessa 23 октября 2026 года. Это полнодуплексная модель преобразования речи в речь, обученная, по словам компании, с нуля исключительно на человеческих разговорах. Одновременно компания опубликовала записи демонстраций в реальном времени, открыла публичный список ожидания и предоставила ранний доступ небольшой группе исследователей безопасности ИИ.

Объявление сопровождалось страницей Dessa на сайте Block и публикацией в X от руководителя лаборатории Рагавана Турайратнама. Турайратнам назвал Dessa первой моделью ИИ, способной поддерживать реалистичный разговор после обучения исключительно на речи, сообщил, что она может работать на потребительских графических процессорах, и назвал этот запуск «моментом GPT3 для речи». На своей странице Block пишет, что, насколько известно компании, Dessa — первый в мире ИИ, способный поддерживать реалистичный разговор в реальном времени после обучения только на человеческой речи.

Block описывает Dessa как настоящую модель преобразования речи в речь: на входе звук, на выходе звук. Она работает в полнодуплексном режиме — слушает и говорит одновременно, — и, по словам компании, научилась на реальных разговорах понимать, когда нужно вклиниться в беседу, а когда — подавать короткие подтверждающие реплики, показывая, что она следит за разговором. Block утверждает, что модель изначально воспринимает и передает эмоции, сарказм, смех, раздраженный вздох и дрожь в голосе от грусти; выводы она делает быстрее, чем идет речь в реальном времени, поэтому отвечает без неловких пауз; кроме того, Dessa работает локально на MacBook Pro M4 Max или более мощном компьютере. Компания называет ее самой естественно звучащей полнодуплексной речевой моделью из всех созданных и утверждает, что разговор с ней похож на разговор с человеком.

Обучение только на речи

Согласно странице, Dessa обучали с нуля только на звуках, без текстов и предварительно обученных моделей; она научилась вести разговор в реальном времени, просто слушая. Block отмечает, что сложность этой задачи легко недооценить, поскольку люди учатся говорить так легко. Речевые данные никогда не повторяются: даже если дважды произнести одно и то же предложение совершенно одинаково, данные будут разными, тогда как напечатанный текст не меняется в зависимости от того, кто его набрал. Как говорится на странице, одно произнесенное слово занимает в тысячи раз больше байтов, чем его письменная форма, а изменение ударения меняет смысл; в качестве примера приводится предложение, значение которого каждый раз меняется в зависимости от того, на каком слове поставлено ударение.

По словам Block, Dessa освоила язык, используя в сотни раз меньше слов, чем большие языковые модели, а команда разработала способ обучать ее на одной системе NVIDIA GB200 NVL72. На странице перечислены открытые исследовательские вопросы, возникшие в связи с этим подходом: насколько эффективно такие модели усваивают язык и факты по сравнению с обучением на текстах, насколько эффективно они могут осваивать новые языки и какие виды обучения в контексте им доступны.

Записанные демонстрации

Block опубликовала видеоролики, которые компания описывает как записи разговоров людей с Dessa в реальном времени. По словам компании, во время этих разговоров никто не направляет модель: Dessa сама выбирает, что, когда и как сказать, в том числе определяет собственный голос и характер; субтитры добавили уже после записи.

Среди описанных моментов — смех Dessa посреди фразы, когда что-то кажется смешным, а не после того, как собеседник закончит говорить; более громкий голос в ответ на просьбу говорить громче; и завершение фразы собеседника, который не может вспомнить название фильма. В другом ролике Dessa тихо ахает, услышав неожиданное объявление о годовщине, а затем отвечает, по описанию на странице, со слезливой благодарностью; в более длинной записи с советами по жизни ее речь звучит по-настоящему эмпатично. В одной из записей Dessa беседует с GPT-Live-1, сторонней моделью ИИ; Block отмечает, что оба голоса в этой записи сгенерированы ИИ, а разработчик GPT-Live-1 не связан с Block, не проверял Dessa и не одобрял ее.

Безопасность, доступ и лаборатория

Команда называет три причины создания Dessa: любознательность, улучшение взаимопонимания между людьми и ИИ, а также безопасность. На странице отмечается, что младенцы учатся говорить, ни разу не увидев написанного слова, и говорится, что команда хотела проверить, может ли модель сделать то же самое. Говоря о безопасности, Block утверждает, что ИИ становится все мощнее и самостоятельнее, но по-прежнему не способен распознавать эмоции в голосе говорящего. В качестве примера компания приводит человека, испытывающего сильную боль, о которой голосовой ИИ не догадывается и продолжает разговор. Компания описывает Dessa как шаг к решению этой проблемы и критикует современные голосовые системы ИИ за то, что они преобразуют речь в текст, теряя информацию, которую передает только звук.

Block предоставляет ранний доступ небольшой группе исследователей безопасности ИИ, чтобы выявить риски, которые команда не предвидела. В форме заявки просят указать имя и адрес корпоративной электронной почты, связанный с университетом, компанией или лабораторией; ссылку на профиль Google Scholar или блог можно добавить по желанию. Публичный список ожидания открыт, новые записи появятся в аккаунте Турайратнама в X, а на странице сказано, что ссылки для запуска появятся в ближайшее время.

Dessa — это, по словам Block, очень небольшая исследовательская лаборатория в области ИИ внутри компании, основанная бывшими сотрудниками Dessa, стартапа из Торонто, занимавшегося глубоким обучением. Команда утверждает, что с 2012 года создает модели глубокого обучения, а генеративные речевые модели разрабатывает уже более восьми лет. Она подчиняется непосредственно Джеку Дорси, сооснователю Block, председателю совета директоров и руководителю Block. В биографии Турайратнама в X говорится, что ранее он основал и продал Dessa, а также преподавал в University of Toronto. Помимо него, на странице перечислены исследователи Луай Хазами, Хашиам Кадхим, Ци (Алекс) Лю, Райхан Мамма, Айдын Полат и Марк Тиндел; стажеры Кара Джи, Джибран Икбал Шах и Двир Загури-Гринбаум; а также бывшие стажеры Арьян Шарма и Оливия Янь.