Block、会話データで学習した全二重音声モデル「Dessa」を発表

Blockの社内AI研究所は2026年10月23日、同社が人間同士の会話だけを使い、ゼロから学習させたとする全二重の音声間モデル「Dessa」を発表した。ライブデモの録音、一般向けのウェイティングリスト、少数のAI安全性研究者を対象とした早期アクセスも公開した。

発表にあたり、BlockのDessaページと、研究所の責任者であるRagavan ThurairatnamによるXへの投稿が公開された。Thurairatnamは、Dessaを、音声だけで学習した後に現実的な会話ができる初のAIモデルだと説明し、一般向けGPUで動作すると述べ、今回のリリースを「音声におけるGPT3の瞬間」と呼んだ。Blockは自社のページで、同社の知る限り、Dessaは人間の音声だけで学習した後に現実的なライブ会話ができる世界初のAIだと記している。

BlockはDessaを、音声を入力し、音声を出力する、真の音声間モデルだと説明している。全二重方式のため、聞きながら同時に話すことができ、会話の流れを理解していると示すために、いつ会話に割り込み、いつ相づちを打つべきかを実際の会話から学習したという。Blockによると、このモデルは感情、皮肉、笑い、いら立ちのため息、悲しみで声が震える様子を本来の形で聞き取り、表現できる。推論速度はリアルタイムを上回るため、不自然な間を置かずに返答できる。また、MacBook Pro M4 Max以上の環境でローカルに動作する。同社は、これまでに構築された全二重音声モデルの中で最も本物らしいと評し、Dessaとの会話は人と話しているように感じられるとしている。

音声のみを使った学習アプローチ

ページによると、Dessaはテキストや事前学習済みモデルを一切使わず、音声だけを用いてゼロから学習し、聞くことだけでリアルタイムの会話を身につけた。Blockは、人間が簡単に話せるようになるため、この課題の難しさは過小評価されがちだと指摘する。音声データは同じ形で繰り返されることがない。同じ文をまったく同じ言い方で2回話したとしても、異なるデータが生成される一方、入力されたテキストは誰が打っても同一だ。ページによれば、データ量で見ると、話し言葉の1語は書き言葉の1語に比べて数千倍のバイト数を占め、どの語を強調するかで意味も変わる。ページに掲載された例文も、強調する語を変えるたびに意味が異なる。

Blockによると、Dessaは大規模言語モデルに比べて何百倍も少ない単語から言語を学習した。また、チームは単一のNVIDIA GB200 NVL72システムで学習させる方法を確立したという。このアプローチから生まれる未解決の研究課題として、テキストと比べてこうしたモデルが言語や事実をどれほど効率よく学習するのか、新しい言語をどれほど効率よく学べるのか、そしてどのような文脈内学習が可能なのかを挙げている。

録音デモ

Blockは、人々がDessaと会話する様子を収めたライブ録音とする動画を公開した。同社によると、これらの会話中にモデルを誘導する人はおらず、何を、いつ、どのように話すかに加え、自身の声や個性もDessa自身が選んでいる。字幕は録音後に追加された。

紹介された場面では、相手が話し終わるのを待たずに、面白いことがあれば文の途中で笑う、声を大きくしてほしいと言われると音量を上げる、相手が映画のタイトルを思い出せずに言葉に詰まると、その文を続けて言い終えるといった様子が見られる。別の動画では、記念日のサプライズ発表を受けてDessaが小さく息をのんだ後、ページの表現によれば涙ぐむような感謝を込めて返答する。また、人生の助言を語る長めの録音は、心から共感しているように聞こえると紹介されている。ある録音では、Dessaが第三者のAIモデルであるGPT-Live-1と会話している。Blockは、この録音に登場する両方の声がAIによって生成されたものであり、GPT-Live-1の開発元はBlockと提携関係になく、Dessaをレビューも推薦もしていないと記している。

安全性、アクセス、研究所

チームはDessaを開発した理由として、好奇心、人間とAIの相互理解の促進、安全性の3つを挙げている。ページは、赤ちゃんは書かれた言葉を一度も見ずに話すことを学ぶと指摘し、モデルにも同じことができるか確かめたかったと説明している。安全性についてBlockは、AIが能力と自律性を高め続ける一方で、話し手の声に含まれる感情を認識できないままであると主張する。例として、ある人が深刻な痛みに苦しんでいても、音声AIはそれに気づかず、そのまま会話を続けてしまう状況を挙げている。同社はDessaを、この問題の解決に向けた一歩と位置づけ、現在の音声AIは音声をテキストに変換することで、音にしか含まれない情報を失っていると批判している。

Blockは、チームが想定していなかったリスクを見つけるため、少数のAI安全性研究者に早期アクセスを提供している。申請フォームでは、大学、企業、研究所のいずれかに所属することを示す氏名と機関のメールアドレスを求めており、Google Scholarまたはブログへのリンクは任意で入力できる。一般向けのウェイティングリストも受け付けているほか、ThurairatnamのXアカウントで録音を追加公開する予定で、ページには公開リンクは近日中に掲載すると記されている。

Dessaは、Blockが社内のごく小規模なAI研究ラボと説明する組織から生まれました。このラボは、トロントの深層学習スタートアップであるDessaの元メンバーによって設立されました。チームによると、2012年から深層学習モデルを開発し、8年を超える期間にわたって生成音声モデルを開発してきました。また、Blockの共同創業者で会長兼Block責任者のJack Dorseyに直属しています。ThurairatnamのXプロフィールには、以前Dessaを創業して売却し、University of Torontoで講義を担当していたと記されています。同ページには、研究者としてLouay Hazami、Hashiam Kadhim、Qi (Alex) Liu、Rayhane Mama、Aydin Polat、Marc Tyndelが、インターンとしてCara Ji、Jibran Iqbal Shah、Dvir Zagury-Grynbaumが、元インターンとしてAryan Sharma、Olivia Yanが掲載されています。