Block, 대화로 학습한 전이중 음성 모델 Dessa 공개

Block 사내 AI 연구소는 2026년 10월 23일 Dessa를 발표했다. 회사에 따르면 이 모델은 인간의 대화만으로 처음부터 학습한 전이중 음성 간 모델이다. Block은 실시간 데모 녹음본과 공개 대기자 명단을 공개하고, 소수의 AI 안전 연구자에게 조기 액세스를 제공했다.

이번 발표와 함께 Block의 Dessa 페이지가 공개됐고, 연구소를 이끄는 Ragavan Thurairatnam은 X 게시물을 올렸다. Thurairatnam은 Dessa가 음성만으로 학습한 뒤 현실감 있는 대화를 나눌 수 있는 최초의 AI 모델이라고 설명하고, 소비자용 GPU에서도 실행할 수 있다고 밝혔다. 또 이번 공개를 “음성 분야의 GPT3 순간”이라고 표현했다. Block은 페이지에서 자사가 아는 한, Dessa가 인간의 음성만으로 학습한 뒤 실시간으로 현실감 있는 대화를 나눌 수 있는 세계 최초의 AI라고 밝혔다.

Block은 Dessa를 진정한 음성 간 모델, 즉 오디오를 입력받아 오디오를 출력하는 모델이라고 설명한다. 전이중 방식이므로 듣는 동시에 말할 수 있으며, 회사에 따르면 실제 대화를 통해 언제 끼어들고 언제 맞장구를 쳐야 상대의 말을 따라가고 있음을 보여줄 수 있는지 학습했다. Block은 이 모델이 감정과 빈정거림, 웃음, 답답함이 담긴 한숨, 슬픔에 목소리가 떨리는 소리를 본래부터 알아듣고 표현한다고 말한다. 또한 추론 속도가 실시간보다 빨라 어색한 멈춤 없이 답할 수 있으며, MacBook Pro M4 Max 이상에서 로컬로 실행된다고 밝혔다. 회사는 이 모델을 지금까지 만들어진 전이중 음성 모델 가운데 가장 진정성 있는 모델이라고 평가하며, 대화해 보면 사람과 이야기하는 듯한 느낌이 든다고 설명한다.

음성만으로 학습하는 접근 방식

페이지에 따르면 Dessa는 텍스트나 사전 학습 모델을 전혀 사용하지 않고 소리만으로 처음부터 학습했으며, 오로지 듣는 것만으로 실시간 대화하는 법을 익혔다. Block은 사람들이 말하는 법을 너무 쉽게 배운다는 이유로 이 과제의 난도를 과소평가하기 쉽다고 말한다. 음성 데이터는 반복되지 않는다. 같은 문장을 정확히 똑같은 방식으로 두 번 말해도 서로 다른 데이터가 생성되는 반면, 입력하는 사람이 누구든 타이핑한 텍스트는 동일하다. 페이지는 데이터 측면에서 말 한마디가 글로 쓴 형태보다 수천 배 더 많은 바이트를 차지하고, 강세의 위치에 따라 의미가 달라진다고 설명한다. 페이지에 나온 예문 하나는 다른 단어에 강세를 둘 때마다 의미가 달라진다.

Block에 따르면 Dessa는 대형 언어 모델보다 수백 배 적은 단어만으로 언어를 학습했으며, 연구팀은 단일 NVIDIA GB200 NVL72 시스템에서 이 모델을 학습하는 방법을 알아냈다. 페이지는 이 접근 방식이 제기하는 미해결 연구 질문으로 텍스트와 비교했을 때 모델이 언어와 사실을 얼마나 효율적으로 학습하는지, 새로운 언어를 얼마나 효율적으로 배울 수 있는지, 그리고 어떤 종류의 문맥 내 학습을 수행할 수 있는지를 제시한다.

녹화 시연

Block은 사람들이 Dessa와 대화하는 모습을 담은 실시간 녹음이라고 설명하는 영상 클립을 공개했다. 회사에 따르면 대화 중 누구도 모델을 유도하지 않으며, Dessa가 무엇을 언제 어떻게 말할지 직접 결정한다. 여기에는 자체 목소리와 개성도 포함된다. 자막은 녹음이 끝난 뒤 추가했다.

소개된 장면에는 재미있는 일이 있을 때 상대가 말을 마칠 때까지 기다리지 않고 문장 중간에 웃는 모습, 더 크게 말해 달라는 요청을 받고 목소리를 높이는 모습, 그리고 상대가 영화 제목이 생각나지 않아 말을 멈추자 그 문장을 이어서 완성하는 모습이 담겼다. 또 다른 클립에서는 깜짝 결혼기념일 소식을 듣고 Dessa가 작게 숨을 들이쉰 뒤, 페이지가 눈물 어린 감사라고 묘사한 말로 답한다. 인생 조언을 나누는 더 긴 녹음은 진심으로 공감하는 듯한 대화로 소개됐다. 한 녹음에서 Dessa는 GPT-Live-1이라는 타사 AI 모델과 대화를 나눈다. Block은 해당 녹음에 등장하는 두 목소리가 모두 AI로 생성됐으며, GPT-Live-1의 개발자는 Block과 제휴 관계가 없고 Dessa를 검토하거나 보증한 적도 없다고 밝혔다.

안전성, 이용 기회, 연구소

연구팀은 호기심, 인간과 AI 간의 이해 증진, 안전성이라는 세 가지 이유로 Dessa를 개발했다고 밝혔다. 페이지는 아기가 글자를 한 번도 보지 않고도 말하는 법을 배운다는 점을 언급하며, 연구팀이 모델도 같은 방식으로 학습할 수 있는지 알아보고자 했다고 설명한다. 안전성과 관련해 Block은 AI의 능력과 자율성이 계속 커지는 반면, 화자의 목소리에 담긴 감정을 알아차리지 못한다고 지적한다. 예를 들어 사람이 심각한 고통을 겪고 있는데도 음성 AI는 이를 전혀 알아채지 못한 채 대화를 계속할 수 있다는 것이다. 회사는 Dessa가 이 문제를 해결하기 위한 첫걸음이라고 설명하며, 현재의 음성 AI가 음성을 텍스트로 바꾸는 과정에서 소리만이 전달하는 정보를 잃는다고 비판한다.

Block은 연구팀이 예상하지 못한 위험을 찾아낼 수 있도록 소수의 AI 안전 연구자에게 조기 액세스를 제공하고 있다. 신청 양식에는 이름과 대학, 회사 또는 연구소의 기관 이메일 주소를 적어야 하며, Google Scholar 또는 블로그 링크는 선택 사항이다. 공개 대기자 명단도 운영 중이며, Thurairatnam의 X 계정에서 녹음본을 더 공개할 예정이라고 밝혔다. 페이지에는 출시 링크가 곧 제공될 예정이라고 적혀 있다.

Dessa는 Block이 회사 내부의 매우 작은 AI 연구소라고 설명하는 조직에서 비롯됐다. 이 연구소는 토론토의 딥러닝 스타트업 Dessa 출신 인사들이 설립했다. 팀은 2012년부터 딥러닝 모델을 구축해 왔고, 8년 넘게 생성형 음성 모델을 개발해 왔다고 밝혔다. 또한 Block의 공동 창업자이자 회장 겸 Block 책임자인 Jack Dorsey에게 직접 보고한다. Thurairatnam의 X 프로필에는 그가 이전에 Dessa를 창업해 매각했고 University of Toronto에서 강의했다고 적혀 있다. 페이지에는 그와 함께 연구원 Louay Hazami, Hashiam Kadhim, Qi (Alex) Liu, Rayhane Mama, Aydin Polat, Marc Tyndel이 소개되어 있으며, 인턴 Cara Ji, Jibran Iqbal Shah, Dvir Zagury-Grynbaum과 전직 인턴 Aryan Sharma, Olivia Yan도 기재되어 있다.