Block ra mắt Dessa, mô hình giọng nói song công toàn phần được huấn luyện qua hội thoại

Phòng nghiên cứu AI nội bộ của Block công bố Dessa vào ngày 23 tháng 10 năm 2026. Đây là mô hình chuyển giọng nói thành giọng nói, song công toàn phần, mà theo công ty, được huấn luyện từ đầu chỉ bằng các cuộc hội thoại của con người. Block đồng thời phát hành các bản ghi âm minh họa trực tiếp, mở danh sách chờ công khai và cấp quyền truy cập sớm cho một nhóm nhỏ các nhà nghiên cứu về an toàn AI.

Thông báo đi kèm với trang Dessa của Block và một bài đăng trên X của Ragavan Thurairatnam, trưởng nhóm nghiên cứu. Thurairatnam mô tả Dessa là mô hình AI đầu tiên có thể duy trì cuộc trò chuyện tự nhiên sau khi được huấn luyện hoàn toàn bằng giọng nói; ông cho biết mô hình có thể chạy trên GPU dành cho người dùng phổ thông và gọi đợt ra mắt này là “một khoảnh khắc GPT3 đối với lĩnh vực giọng nói”. Trên trang của mình, Block viết rằng theo hiểu biết của công ty, Dessa là AI đầu tiên trên thế giới có thể trò chuyện trực tiếp một cách tự nhiên sau khi chỉ được huấn luyện bằng giọng nói của con người.

Block mô tả Dessa là một mô hình giọng nói thực thụ: đầu vào là âm thanh, đầu ra cũng là âm thanh. Mô hình hoạt động song công toàn phần, tức là vừa nghe vừa nói, và theo công ty, mô hình đã học được từ các cuộc trò chuyện thực tế khi nào nên chen lời và khi nào nên đáp lại ngắn gọn để thể hiện rằng mình đang theo dõi. Block cho biết mô hình có thể tự nhiên nghe và thể hiện cảm xúc, sự mỉa mai, tiếng cười, tiếng thở dài bực bội và giọng nói nghẹn lại vì buồn; quá trình suy luận diễn ra nhanh hơn thời gian thực, nên mô hình trả lời mà không tạo ra khoảng lặng gượng gạo; đồng thời, Dessa chạy cục bộ trên MacBook Pro M4 Max hoặc máy có cấu hình cao hơn. Công ty gọi đây là mô hình giọng nói song công toàn phần chân thực nhất từng được xây dựng và cho biết trò chuyện với mô hình có cảm giác như đang nói chuyện với một người thật.

Phương pháp huấn luyện chỉ bằng giọng nói

Theo trang này, Dessa được huấn luyện từ đầu chỉ bằng âm thanh, không dùng bất kỳ văn bản hay mô hình tiền huấn luyện nào, và học cách trò chuyện theo thời gian thực hoàn toàn bằng cách lắng nghe. Block cho rằng người ta dễ đánh giá thấp độ khó của nhiệm vụ này vì con người học nói rất dễ dàng. Dữ liệu giọng nói không bao giờ lặp lại: ngay cả khi nói cùng một câu hai lần theo đúng cùng một cách, dữ liệu thu được vẫn khác nhau; trái lại, văn bản được gõ ra giống hệt nhau bất kể ai là người gõ. Xét về dữ liệu, trang này cho biết một từ được nói ra chiếm số byte nhiều gấp hàng nghìn lần so với từ đó ở dạng viết, và vị trí nhấn trọng âm làm thay đổi ý nghĩa; một câu ví dụ trên trang mang ý nghĩa khác nhau mỗi khi người nói nhấn vào một từ khác.

Block cho biết Dessa học ngôn ngữ từ số từ ít hơn hàng trăm lần so với các mô hình ngôn ngữ lớn, đồng thời nhóm nghiên cứu đã tìm ra cách huấn luyện mô hình trên một hệ thống NVIDIA GB200 NVL72 duy nhất. Trang này liệt kê những câu hỏi nghiên cứu còn bỏ ngỏ mà phương pháp trên đặt ra: những mô hình như vậy học ngôn ngữ và sự kiện hiệu quả đến đâu so với mô hình dựa trên văn bản; chúng có thể học ngôn ngữ mới hiệu quả đến mức nào; và chúng có thể thực hiện những kiểu học trong ngữ cảnh nào.

Các bản ghi âm minh họa

Block đăng tải các đoạn clip mà công ty mô tả là bản ghi trực tiếp cảnh mọi người trò chuyện với Dessa. Công ty cho biết không ai điều khiển mô hình trong những cuộc trò chuyện này; chính Dessa tự chọn sẽ nói gì, nói khi nào và nói như thế nào, bao gồm cả giọng nói và tính cách riêng của mô hình. Phụ đề được thêm vào sau đó.

Những khoảnh khắc được mô tả trong các đoạn clip gồm có Dessa bật cười giữa câu khi nghe điều gì đó buồn cười, thay vì đợi người nói nói xong; nói to hơn khi được yêu cầu nói lớn lên; và nói nốt câu của một người khi người đó quên mất tên một bộ phim. Trong một đoạn clip khác, Dessa khẽ hít vào vì bất ngờ khi nghe thông báo kỷ niệm bất ngờ, rồi đáp lại với lòng biết ơn nghẹn ngào theo mô tả trên trang; một bản ghi dài hơn về lời khuyên trong cuộc sống được mô tả là nghe thực sự đồng cảm. Một bản ghi cho thấy Dessa trò chuyện với GPT-Live-1, một mô hình AI của bên thứ ba; Block lưu ý rằng cả hai giọng nói trong bản ghi đều do AI tạo ra, đồng thời nhà phát triển GPT-Live-1 không liên kết với Block và chưa đánh giá hay chứng thực Dessa.

An toàn, quyền truy cập và phòng nghiên cứu

Nhóm nghiên cứu nêu ba lý do xây dựng Dessa: sự tò mò, mong muốn cải thiện sự thấu hiểu giữa con người và AI, và vấn đề an toàn. Trang này lưu ý rằng trẻ sơ sinh học nói mà chưa từng nhìn thấy một từ được viết ra, đồng thời cho biết nhóm muốn tìm hiểu liệu một mô hình có thể làm được điều tương tự hay không. Về an toàn, Block lập luận rằng AI ngày càng mạnh mẽ và tự chủ hơn nhưng vẫn không thể nhận biết cảm xúc trong giọng nói của người nói; công ty lấy ví dụ về một người đang đau đớn dữ dội trong khi AI giọng nói không hề hay biết và vẫn tiếp tục. Công ty mô tả Dessa là một bước hướng tới giải quyết vấn đề đó, đồng thời cho rằng các AI giọng nói hiện nay biến lời nói thành văn bản và làm mất những thông tin chỉ âm thanh mới truyền tải được.

Block cấp quyền truy cập sớm cho một nhóm nhỏ các nhà nghiên cứu về an toàn AI để tìm ra những rủi ro mà nhóm chưa lường trước. Biểu mẫu đăng ký yêu cầu tên và email của tổ chức thuộc một trường đại học, công ty hoặc phòng nghiên cứu; người đăng ký có thể tùy chọn cung cấp liên kết đến Google Scholar hoặc blog. Danh sách chờ công khai đã mở, các bản ghi âm khác sẽ được chia sẻ trên tài khoản X của Thurairatnam, và trang này cho biết các liên kết để trải nghiệm sản phẩm sẽ sớm có.

Dessa bắt nguồn từ một phòng nghiên cứu AI rất nhỏ bên trong công ty, theo mô tả của Block; phòng nghiên cứu này do các cựu thành viên của Dessa, công ty khởi nghiệp về học sâu tại Toronto, thành lập. Nhóm cho biết đã xây dựng các mô hình học sâu từ năm 2012 và các mô hình tạo sinh giọng nói trong hơn 8 năm, đồng thời báo cáo trực tiếp cho Jack Dorsey, đồng sáng lập, Chủ tịch và người đứng đầu Block. Tiểu sử của Thurairatnam trên X cho biết trước đây ông đã sáng lập và bán Dessa, đồng thời giảng dạy tại University of Toronto. Bên cạnh ông, trang này liệt kê các nhà nghiên cứu Louay Hazami, Hashiam Kadhim, Qi (Alex) Liu, Rayhane Mama, Aydin Polat và Marc Tyndel; các thực tập sinh Cara Ji, Jibran Iqbal Shah và Dvir Zagury-Grynbaum; cùng các cựu thực tập sinh Aryan Sharma và Olivia Yan.