Alex Smola, Đồng sáng lập Boson AI – Loạt bài phỏng vấn

Alex Smola là đồng sáng lập Boson AI, nơi ông nghiên cứu AI giọng nói hội thoại và các hệ thống đa phương thức. Sự nghiệp của ông trải dài từ nghiên cứu học thuật tại Carnegie Mellon University đến các sáng kiến AI quy mô lớn tại AWS. Ông kết hợp kinh nghiệm nghiên cứu và phát triển sản phẩm để xây dựng những trợ lý có thể hiểu các tín hiệu trong hội thoại, xử lý lời ngắt ngang và thực hiện những công việc hữu ích.

Boson AI phát triển các mô hình nền tảng và công cụ phục vụ tương tác bằng giọng nói, âm thanh và đa phương thức. Mô hình Higgs Realtime của công ty hỗ trợ hội thoại trực tiếp bằng giọng nói hai chiều, trong khi nền tảng rộng hơn của công ty bao gồm khả năng tạo giọng nói biểu cảm, hình đại diện và các tác nhân giọng nói dành cho doanh nghiệp. Trong cuộc phỏng vấn này, Smola bàn về trí tuệ hội thoại, hiệu quả đa ngôn ngữ, kinh tế học của suy luận và các biện pháp bảo vệ cần thiết để đưa tác nhân giọng nói vào quy trình làm việc thực tế của doanh nghiệp.

Sự nghiệp của ông đưa ông từ nghiên cứu học thuật tại Carnegie Mellon University đến vai trò lãnh đạo các sáng kiến AI quy mô lớn tại AWS, và giờ đây là đồng sáng lập Boson AI. Điều gì đã truyền cảm hứng để ông tập trung vào AI giọng nói hội thoại, và ông hy vọng khắc phục những hạn chế căn bản nào trong tương tác giữa con người với AI?

Con người giao tiếp bằng nhiều thứ hơn là lời nói. Bạn có thể nghe thấy sự do dự trong giọng nói của ai đó hoặc nhận ra họ chưa hiểu lời giải thích. Một tiếng đáp nhẹ cũng có thể cho bạn biết rằng hãy tiếp tục nói. Chúng ta nhận ra những tín hiệu này một cách vô thức, nhưng việc dạy máy tính nhận biết chúng vẫn đang trong quá trình hoàn thiện.

Đó là điều khiến lĩnh vực này trở nên thú vị với tôi. Hiện nay, chúng ta đã có những hệ thống sở hữu năng lực trí tuệ đáng kể, nhưng giao tiếp với chúng đôi khi vẫn gượng gạo. Tôi muốn mọi người có thể diễn đạt nhu cầu bằng lời lẽ của chính mình, thay vì phải tìm cách nói chuyện với phần mềm.

Tại AWS, tôi học được cách chú ý sát sao đến việc khách hàng đang cố gắng làm gì và liệu sản phẩm có giúp họ làm được điều đó hay không. Chúng tôi đã áp dụng cách tiếp cận ấy tại Boson, đồng thời có sự tự do để nhanh chóng hành động khi hoạt động nghiên cứu tiến triển.

Giọng nói và video cung cấp cho chúng ta nhiều dữ liệu hơn để xử lý. Nếu ai đó trông có vẻ bối rối hoặc ngập ngừng, trợ lý có thể phản hồi trước khi cuộc trò chuyện chệch hướng. Giúp những tương tác thường ngày diễn ra suôn sẻ là một phần quan trọng trong mục tiêu của chúng tôi.

Boson AI gần đây đã giới thiệu Higgs Realtime, được thiết kế để hỗ trợ tương tác tự nhiên, theo thời gian thực bằng giọng nói hai chiều. Cách tiếp cận này khác căn bản như thế nào so với các hệ thống truyền thống kết hợp nhận dạng giọng nói, mô hình ngôn ngữ và chuyển văn bản thành giọng nói? Vì sao sự khác biệt đó có ý nghĩa đối với tương lai của các trợ lý AI?

Trong một quy trình truyền thống, công nghệ nhận dạng giọng nói chuyển lời bạn nói thành văn bản, mô hình ngôn ngữ tạo câu trả lời, rồi mô hình giọng nói đọc câu trả lời đó thành tiếng. Mỗi bước phụ thuộc vào bước trước, khiến cuộc trò chuyện có thể trở nên chậm chạp và rời rạc.

Higgs Realtime là mô hình giọng nói hai chiều lấy âm thanh làm nền tảng, được xây dựng để phục vụ tương tác trực tiếp. Quá trình huấn luyện mô hình chú trọng đến hành vi hội thoại, bao gồm luân phiên lượt nói và phản hồi trước những yêu cầu thay đổi. Điều đó rất khác với việc gắn giọng nói cho một chatbot xử lý văn bản.

Hãy nghĩ đến lúc bạn hỏi ai đó một câu hỏi khó. Trong khi tìm câu trả lời, họ có thể nói: “Để tôi tra thử nhé”. Bạn biết họ đã nghe câu hỏi và đang tìm cách giải đáp. Trợ lý AI cũng cần làm như vậy khi truy xuất thông tin hoặc sử dụng một công cụ, để bạn không phải băn khoăn liệu nó đã hiểu mình hay ngừng hoạt động.

Điều đó càng quan trọng hơn với những nhiệm vụ kéo dài. Trợ lý cần liên tục cập nhật cho bạn trong lúc xử lý công việc, đồng thời phản hồi nếu bạn đặt câu hỏi hoặc đổi ý.

Một trong những thách thức lớn nhất của AI hội thoại là xác định khi nào nên nói, khi nào nên lắng nghe và xử lý ra sao khi bị ngắt lời hoặc cuộc trò chuyện chuyển hướng. Boson AI đang giải quyết những thách thức này như thế nào, và vẫn cần những đột phá kỹ thuật nào để các cuộc trò chuyện với AI trở nên thực sự tự nhiên?

Lời đáp xác nhận và lời ngắt ngang có thể nghe khá giống nhau, nhưng cần những cách phản hồi khác nhau. Nếu ai đó nói “ừ” khi bạn đang nói, có thể họ muốn bạn tiếp tục. Nếu họ sửa một chữ số trong số điện thoại, bạn cần dừng lại và dùng số đúng. Trợ lý AI cần phân biệt được hai trường hợp này.

Higgs Realtime dựa vào ý nghĩa lời nói của một người để xác định xem họ đã nói xong hay chỉ đang ngừng lại. Phản hồi nhanh là điều quan trọng, nhưng biết cách phản hồi cũng quan trọng không kém.

Để làm được điều đó một cách nhất quán vẫn rất khó. Mọi người không nói theo những lượt ngay ngắn, và cùng một từ có thể mang ý nghĩa khác nhau tùy vào cuộc trò chuyện. Trợ lý phải hiểu điều gì đã thay đổi và ghi nhớ việc mình đang làm.

Boson AI đã phát triển các bộ chuẩn đánh giá như IHBench để đo lường khả năng khôi phục sau khi bị ngắt lời của các tác nhân giọng nói. Những đánh giá này cho thấy điểm yếu nào của các mô hình giọng nói hàng đầu hiện nay, và ngành nên xem xét lại cách đo lường trí tuệ hội thoại như thế nào?

Chúng tôi xây dựng IHBench để kiểm tra điều gì xảy ra khi có người ngắt lời một tác nhân giọng nói. Nếu bạn đính chính điều gì đó giữa chừng khi đặt chỗ, tác nhân cần tiếp nhận thông tin đính chính và tiếp tục từ đúng điểm đang dở. Bạn không nên phải bắt đầu lại hoặc nghe những thông tin mà tác nhân đã cung cấp. Kết quả khác biệt đáng kể tùy theo mô hình và kiểu ngắt lời. Có một phát hiện mà chúng tôi không mấy vui vẻ khi công bố: nhìn chung, các hệ thống có trọng số đóng xử lý việc bị ngắt lời tốt hơn, và duy trì hiệu quả tốt hơn khi sự ngắt lời xảy ra càng sâu trong cuộc trò chuyện.

Đó là một khoảng cách thực sự trong hệ sinh thái mở, và chúng tôi muốn đo lường nó một cách công khai hơn là giả vờ như nó không tồn tại. Đây cũng là lý do chính khiến chúng tôi tạo ra bộ chuẩn đánh giá này. Không thể thu hẹp một khoảng cách nếu chưa ai thống nhất cách đo lường nó. Chúng tôi công bố bộ chuẩn đánh giá đó mà không đưa mô hình nào của mình vào. Khi đưa một mô hình vào, Higgs Realtime đạt 71.2 điểm về khả năng khôi phục, cao hơn GPT Realtime 1.5 với 65.5 điểm, GPT Realtime 2 với 62.4 điểm và Gemini 3.1 Flash Live với 61.1 điểm. Vậy nên khoảng cách này có thể được thu hẹp, và một mô hình trọng số mở đã thu hẹp được nó.

Tôi muốn chứng minh điều đó bằng một bài kiểm tra khó do chúng tôi thiết kế và công bố trước khi có bất cứ kết quả nào để trình bày. Nhìn rộng hơn, tôi cho rằng lĩnh vực này đang đo lường sai những điều cần thiết. Giọng nói có thể nghe hoàn toàn tự nhiên nhưng vẫn không hoàn thành được công việc, bởi điều quan trọng cần kiểm tra là liệu tác nhân có hoàn tất nhiệm vụ hay không. Nếu bạn phải liên tục nhắc nó về việc mình đang làm, thì giọng nói hay đến đâu cũng chẳng còn quan trọng sau một thời gian rất ngắn.

Có sự khác biệt đáng kể giữa một màn trình diễn AI giọng nói ấn tượng và một tác nhân tự chủ có khả năng xử lý các tương tác thực tế với khách hàng. Điều gì tạo nên sự khác biệt giữa hai loại này, và những năng lực nào cần được cải thiện trước khi doanh nghiệp có thể tự tin triển khai tác nhân giọng nói trong các quy trình công việc trọng yếu?

Lần gần đây nhất bạn thấy vui khi gọi cho công ty truyền hình cáp là khi nào? Với hầu hết mọi người, câu trả lời là chưa bao giờ. Bạn bị chuyển từ người này sang người khác, và mỗi lần như vậy lại phải giải thích tên, ngày sinh và vấn đề của mình từ đầu, để rồi người tiếp theo cũng hỏi lại tất cả những điều đó. Vậy hãy hình dung cuộc gọi thứ tư về cùng một vấn đề. Bạn muốn tác nhân biết chuyện gì đã xảy ra trong ba cuộc gọi trước. Nếu khởi động lại bộ định tuyến vẫn không hiệu quả, có lẽ đã đến lúc cử kỹ thuật viên đến, và bạn không nên phải tự mình giải thích vì sao cần làm vậy. Để xử lý việc đó, tác nhân cần có lịch sử tài khoản của bạn và quyền truy cập vào hệ thống đặt lịch hẹn.

Tác nhân cũng phải xử lý được tình huống đặt lịch không thành công và biết khi nào cần chuyển bạn cho một người có thể thực sự khắc phục sự cố. Đây là những tình huống doanh nghiệp cần kiểm thử trước khi để tác nhân tiếp nhận cuộc gọi của khách hàng. Ngoài ra còn có chi phí vận hành. Một hệ thống xử lý phần trình diễn rất tốt vẫn có thể quá tốn kém để vận hành khi phải xử lý hàng nghìn cuộc gọi mỗi ngày, vì vậy hiệu quả là một phần của khả năng sẵn sàng phục vụ doanh nghiệp, chứ không phải một mối quan tâm riêng biệt.

Chúng tôi đã vận hành chính tình huống này cùng một công ty bảo hiểm toàn cầu trong vài tháng. Đây không phải là một thử nghiệm được tiến hành song song với hệ thống thực tế. Hệ thống xử lý các cuộc trò chuyện trực tiếp với khách hàng, cả cuộc gọi đến lẫn cuộc gọi đi, bên cạnh các nhân viên bán hàng của công ty tại trung tâm liên lạc. Hệ thống xử lý hàng nghìn cuộc gọi đồng thời với chi phí chỉ bằng khoảng một phần ba chi phí của một nhân viên.

Điều tôi thấy thú vị hơn cả chi phí là hệ thống được cải thiện ngay trong quá trình vận hành. Khi bắt đầu, đánh giá của chính họ chấm chất lượng hội thoại của chúng tôi 30 điểm. Năm tháng sau, điểm số tăng lên 80, bằng mức họ dùng để đánh giá một nhân viên tiếp thị qua điện thoại đủ tiêu chuẩn. GPT-4o Realtime đạt 55 điểm trong cùng bài đánh giá. Chúng tôi không đạt được kết quả đó bằng cách tinh chỉnh mô hình trong phòng thí nghiệm. Hệ thống cải thiện nhờ dữ liệu từ những cuộc gọi mà nó thực sự xử lý, và đó là kiểu cải thiện duy nhất mà một trung tâm liên lạc quan tâm.

Khi tác nhân giọng nói không chỉ trả lời câu hỏi mà còn thực hiện nhiệm vụ, truy cập thông tin khách hàng và tương tác với các hệ thống doanh nghiệp, nhà phát triển nên cân bằng quyền tự chủ với sự giám sát của con người như thế nào? Cần có những biện pháp bảo vệ thiết yếu nào để xây dựng niềm tin lâu dài vào các hệ thống này?

Tôi sẽ bắt đầu bằng câu hỏi: bạn đang tin tưởng giao cho tác nhân việc gì? Cho phép tác nhân tra cứu số dư tài khoản khác hẳn với việc cho phép nó chuyển tiền hoặc hủy dịch vụ. Quyền hạn cần phản ánh sự khác biệt đó, và các hệ thống mà tác nhân kết nối phải thực thi những quyền hạn này. Không thể phó mặc tất cả cho một chỉ dẫn trong câu lệnh.

Mọi người cũng cần biết mình đang đồng ý với điều gì. Trước khi thực hiện một thay đổi khó khôi phục, tác nhân cần giải thích những hệ quả và yêu cầu xác nhận. Nhờ vậy, khi tác nhân gặp khó khăn, việc nhờ người hỗ trợ sẽ diễn ra thuận lợi.

Dù vậy, sự cố vẫn sẽ xảy ra. Khi có sự cố, bạn cần xem được tác nhân đã làm gì và dừng lại ở đâu để có người khắc phục. Một giọng nói nghe đầy tự tin có thể khiến chúng ta cho rằng hệ thống biết mình đang làm gì, nhưng niềm tin đó phải được xây dựng bằng cách hệ thống hoạt động đáng tin cậy đến đâu.

Higgs Realtime hỗ trợ hơn 100 ngôn ngữ, trong đó có khả năng chuyển đổi ngôn ngữ ngay trong cuộc trò chuyện. Những thách thức kỹ thuật lớn nhất khi duy trì năng lực hội thoại nhất quán giữa các ngôn ngữ, giọng vùng miền và phong cách giao tiếp khác nhau là gì, đặc biệt là khi cần hiểu bối cảnh cảm xúc và ý định của người dùng?

Mức độ hỗ trợ ngôn ngữ nghe có vẻ chỉ là một danh sách, nhưng thực tế không đơn giản như vậy. Cách đây không lâu, một khách hàng cần hỗ trợ tiếng Thái. Chúng tôi mới hỗ trợ một phần, và điều đầu tiên phát hiện ra là chúng tôi chẳng biết gì về tiếng Thái, bắt đầu từ việc chữ viết tiếng Thái hầu như không có dấu câu. Điều đó phá vỡ những giả định về ranh giới câu mà hầu hết các hệ thống nhận dạng tiếng nói dựa vào. Chúng tôi có thể hoãn việc triển khai ở thị trường này. Nhưng thay vào đó, chúng tôi tìm đến các nhà khoa học máy tính biết tiếng Thái và xây dựng lại quy trình xử lý cho đúng cách.

Khoảng sáu tuần sau, chúng tôi có mặt ở Bangkok để trình diễn hệ thống. Trong buổi demo, tôi không thể biết mọi việc diễn ra thế nào — tôi đang nghe mọi người thử nghiệm một hệ thống bằng ngôn ngữ mà mình không nói được — nhưng sau đó họ bảo hệ thống hoạt động tốt, khiến tôi nhẹ nhõm đáng kể. Các quy ước giao tiếp cũng khác nhau không kém gì từ vựng. Trong tiếng Nhật, người nghe thường khẽ đáp lại khi bạn đang nói để cho biết họ vẫn theo dõi câu chuyện. Nếu trợ lý cứ dừng lại để nhường lượt nói, nhịp điệu cuộc trò chuyện sẽ bị phá vỡ.

Từ ngữ có thể hoàn hảo nhưng cuộc trò chuyện vẫn thất bại. Cách bạn nói cũng quan trọng không kém điều bạn nói. Bạn có thể dùng chính xác cùng một từ ngữ với giọng trìu mến hoặc mỉa mai, và cách đáp lại phù hợp sẽ hoàn toàn khác nhau. Việc giữ được sắc thái giọng điệu và ngữ cảnh trong khi ngôn ngữ thay đổi ngay giữa câu là một phần lớn tạo nên sức hấp dẫn của lĩnh vực này đối với tôi.

Các công ty như OpenAI và Google đang đầu tư mạnh vào AI đa phương thức theo thời gian thực. Một công ty chuyên biệt như Boson AI có thể cạnh tranh với những tổ chức sở hữu nguồn lực tính toán lớn hơn đáng kể bằng cách nào, và ông thấy cơ hội khác biệt hóa lớn nhất nằm ở đâu trong kiến trúc mô hình, hiệu năng và hiệu quả kinh tế của suy luận?

Có nhiều năng lực tính toán hơn không đồng nghĩa với việc bạn đang sử dụng chúng hiệu quả. Trong một cuộc trò chuyện trực tiếp, bạn có thể tốn rất nhiều tiền để chạy một mô hình cực mạnh chỉ nhằm xử lý những câu như “ừm” hay “ừ, chắc vậy”. Mô hình đó sẽ dành phần lớn năng lực của mình để nghe những từ đệm. Bộ não rất tốn kém, tiêu thụ nhiều năng lượng, và suy luận cũng vậy. Cuối cùng, khách hàng là người trả khoản chi phí đó.

Con người giải quyết việc này bằng cách phân chia sự chú ý. Bạn có thể ngồi trong quán cà phê trò chuyện đôi chút nhàm chán, trong khi một phần tâm trí vẫn đang nghĩ xem tối nay nên nấu món gì. Phần ý thức tập trung vào cuộc trò chuyện. Rồi người kia hỏi một câu thực sự khó, và bạn hoàn toàn tập trung, dồn hết sự chú ý vào câu hỏi đó. Chúng tôi xây dựng các hệ thống hội thoại theo cách tương tự.

Một mô hình ít tốn kém xử lý phần đầu của cuộc trò chuyện; khi nhiệm vụ thực sự đòi hỏi, hệ thống mới sử dụng các bước suy luận và gọi công cụ tốn kém hơn. Một nửa vấn đề còn lại là chúng tôi mua năng lực tính toán thay vì thuê. Phép tính không phức tạp: lấy chi phí thuê một máy chủ đám mây trong một giờ nhân với số giờ trong một năm, kết quả sẽ xấp xỉ giá mua đứt phần cứng. Chúng tôi tính điểm hòa vốn cho từng linh kiện rồi xây dựng từ đó. Mọi chuyện khó khăn hơn lời kể này và không phải việc gì cũng suôn sẻ. Nhưng cách làm đó loại bỏ khả năng mở rộng quy mô bằng sức mạnh tính toán đơn thuần, nghĩa là mọi cải thiện đều phải đến từ dữ liệu và kiến trúc tốt hơn. Hóa ra cách làm này còn giúp bảo vệ chúng tôi: những linh kiện từng được báo giá dưới 100.000 đô la đã có giá cao gần gấp đôi chỉ sáu tháng sau. Chúng tôi có thể hành động nhanh vì là một nhóm nhỏ chỉ tập trung vào một việc. Một nhà nghiên cứu có thể tự đưa ra ý tưởng, thử nghiệm và tích hợp ý tưởng đó vào sản phẩm. Chúng tôi cũng hưởng lợi từ cộng đồng nghiên cứu mở và đóng góp trở lại cho cộng đồng, nhờ đó một nhóm nhỏ có thể làm được nhiều hơn quy mô của mình tưởng chừng cho phép.

Nghiên cứu của ông về ProactBench tìm hiểu một khía cạnh quan trọng của năng lực hội thoại: nhận biết người dùng cần gì ngay cả khi họ chưa nói rõ điều đó. Ông hình dung các tác nhân giọng nói sẽ phát triển từ những trợ lý phản ứng theo yêu cầu thành cộng tác viên chủ động như thế nào, và ranh giới giữa việc dự đoán nhu cầu của người dùng với việc can thiệp quá mức nên được đặt ở đâu?

Giả sử bạn đang đặt lịch khám bác sĩ và ngay đầu cuộc trò chuyện, bạn nói rằng mình không thể lái xe. Một trợ lý tốt sẽ ghi nhớ điều đó và đề xuất lịch khám từ xa hoặc giúp bạn sắp xếp phương tiện di chuyển. Bạn không nên phải nhắc lại thông tin ấy.

Đó là điều chúng tôi đang nghiên cứu với ProactBench: liệu trợ lý có thể dùng những gì bạn đã nói để dự đoán nhu cầu và đề nghị giúp đỡ những việc bạn chưa trực tiếp yêu cầu hay không.

Tất nhiên, có thể bạn đã sắp xếp được xe đưa mình đến buổi hẹn. Trợ lý nên đưa ra lựa chọn và để bạn tự quyết định, thay vì cho rằng nó biết kế hoạch của bạn. Tôi muốn những hệ thống này giúp mọi người đỡ tốn công sức nhưng vẫn để họ nắm quyền quyết định những gì sẽ diễn ra.

Nhìn về phía trước 5 năm, ông có tin rằng giọng nói sẽ trở thành giao diện chính để mọi người tương tác với AI và phần mềm không? Nếu vậy, sự chuyển đổi này có thể định hình lại các ứng dụng truyền thống, phần mềm doanh nghiệp, cũng như vai trò của màn hình và giao diện người dùng đồ họa như thế nào?

Tôi cho rằng chúng ta sẽ trò chuyện với máy tính nhiều hơn, thường là kết hợp cả video. Khi nhìn thấy ai đó có vẻ bối rối, bạn sẽ biết có thể mình cần giải thích theo cách khác. Bản demo âm thanh-video của chúng tôi cho thấy những bước đầu của kiểu tương tác đó, trong đó AI phản hồi cả những gì nó nhìn thấy lẫn những gì nó nghe được.

Tôi vẫn thích dùng bàn phím để viết mã, còn khi so sánh thông tin, có thể tôi muốn xem trên màn hình để tự mình xem xét với tốc độ phù hợp.

Với phần mềm doanh nghiệp, tôi có thể hình dung việc bắt đầu một tác vụ bằng cách giải thích nhu cầu của mình, sau đó xem xét kết quả trên màn hình và trực tiếp chỉnh sửa. Trong năm năm tới, tôi nghĩ việc chuyển đổi qua lại giữa những cách làm đó sẽ dễ dàng hơn nhiều. Bạn có thể trò chuyện khi thuận tiện và sử dụng màn hình khi cần độ chính xác.

Xin cảm ơn về cuộc phỏng vấn tuyệt vời này. Độc giả muốn tìm hiểu về AI giọng nói hội thoại và các tác nhân giọng nói dành cho doanh nghiệp nên truy cập Boson AI.