Jean-Louis Quéguiner, Người sáng lập & CEO của Gladia – Loạt bài phỏng vấn

Jean-Louis Quéguiner là Người sáng lập và CEO của Gladia. Trước đó, ông từng là Phó Chủ tịch Tập đoàn phụ trách Dữ liệu, Trí tuệ nhân tạo và Máy tính lượng tử tại OVHcloud, một trong những nhà cung cấp dịch vụ đám mây hàng đầu tại châu Âu. Ông có bằng Thạc sĩ về Trí tuệ nhân tạo biểu tượng từ Đại học Québec ở Canada và Arts et Métiers ParisTech ở Paris. Trong suốt sự nghiệp của mình, ông đã nắm giữ các vị trí quan trọng trong nhiều ngành công nghiệp, bao gồm phân tích dữ liệu tài chính, ứng dụng học máy cho quảng cáo kỹ thuật số thời gian thực và phát triển API trí tuệ nhân tạo giọng nói.

Gladia cung cấp giải pháp chuyển đổi giọng nói thành văn bản và các giải pháp trí tuệ nhân tạo thời gian thực để tích hợp liền mạch vào các sản phẩm trên nhiều ngành công nghiệp, ngôn ngữ và công nghệ. Bằng cách tối ưu hóa các mô hình trí tuệ nhân tạo hiện đại và mô hình trí tuệ nhân tạo tạo sinh, nó đảm bảo xử lý giọng nói và ngôn ngữ chính xác, không có độ trễ. Nền tảng của Gladia cũng cho phép trích xuất thông tin và siêu dữ liệu từ các cuộc gọi và cuộc họp theo thời gian thực, hỗ trợ các trường hợp sử dụng doanh nghiệp quan trọng như hỗ trợ bán hàng và hỗ trợ khách hàng tự động.

Điều gì đã truyền cảm hứng cho bạn để giải quyết các thách thức trong công nghệ chuyển đổi giọng nói thành văn bản (STT), và bạn đã nhận thấy những khoảng trống nào trên thị trường?

Khi tôi thành lập Gladia, mục tiêu ban đầu là rộng lớn – một công ty trí tuệ nhân tạo sẽ làm cho công nghệ phức tạp trở nên dễ tiếp cận. Nhưng khi chúng tôi深入 nghiên cứu, rõ ràng rằng công nghệ giọng nói là lĩnh vực bị hỏng nhất và quan trọng nhất để tập trung vào.

Giọng nói là trung tâm của cuộc sống hàng ngày của chúng ta, và hầu hết giao tiếp của chúng ta diễn ra thông qua lời nói. Tuy nhiên, các công cụ có sẵn cho các nhà phát triển để làm việc với dữ liệu giọng nói là không đầy đủ về tốc độ, độ chính xác và giá cả – đặc biệt là trên nhiều ngôn ngữ.

Tôi muốn giải quyết vấn đề đó, để giải mã sự phức tạp của công nghệ giọng nói và đóng gói nó thành một thứ gì đó đơn giản, hiệu quả, mạnh mẽ và dễ tiếp cận. Các nhà phát triển không nên phải lo lắng về sự phức tạp của các mô hình trí tuệ nhân tạo hoặc sự tinh tế của độ dài ngữ cảnh trong nhận dạng giọng nói. Mục tiêu của tôi là tạo ra một API chuyển đổi giọng nói thành văn bản cấp doanh nghiệp hoạt động liền mạch, không phụ thuộc vào mô hình hoặc công nghệ cơ bản – một giải pháp plug-and-play thực sự.

Một số thách thức duy nhất bạn gặp phải khi xây dựng một giải pháp chuyển đổi giọng nói thành văn bản cho sử dụng doanh nghiệp là gì?

Khi nói đến nhận dạng giọng nói, tốc độ và độ chính xác – hai chỉ số hiệu suất chính trong lĩnh vực này – là nghịch đảo theo thiết kế. Điều này có nghĩa là việc cải thiện một trong hai sẽ ảnh hưởng đến cái còn lại, ít nhất là ở một mức độ nào đó. Yếu tố chi phí, đến một mức độ lớn, là kết quả của việc nhà cung cấp lựa chọn giữa tốc độ và chất lượng.

Khi xây dựng Gladia, mục tiêu của chúng tôi là tìm ra sự cân bằng hoàn hảo giữa hai yếu tố này, đồng thời đảm bảo công nghệ vẫn có sẵn cho các công ty khởi nghiệp và SME. Trong quá trình này, chúng tôi cũng nhận ra rằng các mô hình nhận dạng giọng nói cơ bản như Whisper của OpenAI, mà chúng tôi đã làm việc rộng rãi, bị thiên vị, nghiêng về tiếng Anh do dữ liệu đào tạo, điều này khiến nhiều ngôn ngữ bị thiếu đại diện.

Do đó, ngoài việc giải quyết sự đánh đổi giữa tốc độ và độ chính xác, điều quan trọng đối với chúng tôi – với tư cách là một đội ngũ đa ngôn ngữ châu Âu – là tối ưu hóa và tinh chỉnh các mô hình cốt lõi của chúng tôi để xây dựng một API toàn cầu thực sự giúp các doanh nghiệp hoạt động trên nhiều ngôn ngữ.

Gladia khác biệt như thế nào trong thị trường chuyển đổi giọng nói thành văn bản đông đúc? Điều gì làm cho Whisper-Zero ASR của bạn trở nên độc đáo?

Động cơ thời gian thực mới (Gladia Real Time) của chúng tôi đạt được độ trễ chỉ 300 ms. Ngoài ra, nó có thể trích xuất thông tin từ một cuộc gọi hoặc cuộc họp với các tính năng “trí tuệ âm thanh” như nhận dạng thực thể được đặt tên (NER) hoặc phân tích cảm xúc.

Theo kiến thức của chúng tôi, rất ít đối thủ cạnh tranh có thể cung cấp cả chuyển đổi giọng nói thành văn bản và thông tin với độ trễ thấp như vậy (dưới 1 giây) – và làm tất cả những điều đó chính xác trong các ngôn ngữ khác ngoài tiếng Anh. Hỗ trợ ngôn ngữ của chúng tôi mở rộng đến hơn 100 ngôn ngữ ngày nay.

Chúng tôi cũng đặc biệt nhấn mạnh vào việc làm cho sản phẩm thực sự độc lập với công nghệ. API của chúng tôi tương thích với tất cả các ngăn xếp công nghệ và giao thức điện thoại hiện có, bao gồm SIP, VoIP, FreeSwitch và Asterisk. Các giao thức điện thoại đặc biệt phức tạp để tích hợp, vì vậy chúng tôi tin rằng khía cạnh sản phẩm này có thể mang lại giá trị đáng kể cho thị trường.

Ảo giác trong các mô hình trí tuệ nhân tạo là một mối quan ngại đáng kể, đặc biệt là trong chuyển đổi giọng nói thành văn bản thời gian thực. Bạn có thể giải thích ảo giác là gì trong bối cảnh STT và làm thế nào Gladia giải quyết vấn đề này không?

Ảo giác thường xảy ra khi mô hình thiếu kiến thức hoặc không có đủ ngữ cảnh về chủ đề. Mặc dù các mô hình có thể tạo ra đầu ra được điều chỉnh cho một yêu cầu, nhưng chúng chỉ có thể tham khảo thông tin tồn tại tại thời điểm đào tạo, và điều đó có thể không cập nhật. Mô hình sẽ tạo ra các phản hồi hợp lý bằng cách lấp đầy các khoảng trống với thông tin nghe có vẻ hợp lý nhưng không chính xác.

Mặc dù ảo giác đã trở nên nổi tiếng trong bối cảnh các mô hình ngôn ngữ lớn (LLM) trước tiên, nhưng chúng cũng xảy ra với các mô hình nhận dạng giọng nói – như Whisper ASR, một mô hình hàng đầu trong lĩnh vực được phát triển bởi OpenAI. Ảo giác của Whisper tương tự như ảo giác của LLM do kiến trúc tương tự, vì vậy đó là một vấn đề liên quan đến các mô hình tạo sinh, có khả năng dự đoán các từ tiếp theo dựa trên ngữ cảnh tổng thể. Theo một cách nào đó, chúng “sáng tạo” ra đầu ra.

Kết quả là, bạn có thể tìm thấy các từ trong một bản chuyển đổi giọng nói thành văn bản mà không thực sự được nói, điều này rõ ràng là có vấn đề, đặc biệt là trong các lĩnh vực như y tế, nơi một sai lầm như vậy có thể có hậu quả nghiêm trọng.

Có một số phương pháp để quản lý và phát hiện ảo giác. Một cách tiếp cận phổ biến là sử dụng hệ thống tạo sinh tăng cường bằng cách thu hồi (RAG), kết hợp khả năng tạo sinh của mô hình với một cơ chế thu hồi để kiểm tra lại các sự kiện. Một phương pháp khác liên quan đến việc sử dụng một phương pháp “chuỗi suy nghĩ” nơi mô hình được hướng dẫn thông qua một loạt các bước hoặc điểm kiểm tra được định nghĩa trước để đảm bảo nó ở trên một con đường logic.

Một chiến lược khác để phát hiện ảo giác liên quan đến việc sử dụng các hệ thống đánh giá tính trung thực của đầu ra mô hình trong quá trình đào tạo. Có các điểm chuẩn được thiết kế đặc biệt để đánh giá ảo giác, liên quan đến việc so sánh các phản hồi ứng viên khác nhau được tạo bởi mô hình và xác định phản hồi nào là chính xác nhất.

Chúng tôi tại Gladia đã thử nghiệm với sự kết hợp các kỹ thuật khi xây dựng Whisper-Zero, ASR độc quyền của chúng tôi, loại bỏ gần như tất cả ảo giác. Nó đã chứng minh kết quả tuyệt vời trong chuyển đổi giọng nói thành văn bản không đồng bộ, và chúng tôi hiện đang tối ưu hóa nó cho thời gian thực để đạt được độ trung thực thông tin 99,9%.

Công nghệ STT phải xử lý nhiều phức tạp như giọng nói, tiếng ồn và cuộc trò chuyện đa ngôn ngữ. Gladia tiếp cận những thách thức này như thế nào để đảm bảo độ chính xác cao?

Phát hiện ngôn ngữ trong nhận dạng giọng nói là một nhiệm vụ cực kỳ phức tạp. Mỗi người nói có một chữ ký giọng nói duy nhất, mà chúng tôi gọi là tính năng. Bằng cách phân tích phổ giọng nói, các thuật toán học máy có thể thực hiện phân loại, sử dụng các hệ số cepstrum tần số Mel (MFCC) để trích xuất các đặc điểm tần số chính.

MFCC là một phương pháp được truyền cảm hứng từ nhận thức thính giác của con người. Đó là một phần của lĩnh vực “tâm lý âm thanh”, tập trung vào cách chúng ta nhận thức âm thanh. Nó nhấn mạnh các tần số thấp hơn và sử dụng các kỹ thuật như phân tích Fourier được chuẩn hóa để chuyển đổi âm thanh thành phổ tần số.

Tuy nhiên, phương pháp này có một hạn chế: nó dựa hoàn toàn vào âm thanh. Vì vậy, nếu bạn nói tiếng Anh với giọng nói mạnh, hệ thống có thể không hiểu nội dung nhưng thay vào đó phán đoán dựa trên nhịp điệu (ngữ điệu, nhấn, ngữ điệu).

Đây là nơi giải pháp sáng tạo của Gladia xuất hiện. Chúng tôi đã phát triển một phương pháp kết hợp các tính năng tâm lý âm thanh với hiểu biết nội dung cho việc phát hiện ngôn ngữ động.

Hệ thống của chúng tôi không chỉ lắng nghe cách bạn nói, mà còn hiểu những gì bạn đang nói. Cách tiếp cận kép này cho phép chuyển đổi mã hiệu quả và không để các giọng nói mạnh bị hiểu lầm/misperse.

Chuyển đổi mã – một trong những điểm khác biệt chính của chúng tôi – là một tính năng đặc biệt quan trọng trong việc xử lý các cuộc trò chuyện đa ngôn ngữ. Người nói có thể chuyển đổi giữa các ngôn ngữ trong một cuộc trò chuyện (hoặc thậm chí trong một câu), và khả năng của mô hình trong việc chuyển đổi giọng nói thành văn bản chính xác ngay cả khi có sự chuyển đổi là rất quan trọng.

API của Gladia là duy nhất trong khả năng xử lý chuyển đổi mã với nhiều cặp ngôn ngữ như vậy với mức độ chính xác cao và hoạt động tốt ngay cả trong môi trường ồn ào, được biết đến là làm giảm chất lượng chuyển đổi giọng nói thành văn bản.

Chuyển đổi giọng nói thành văn bản thời gian thực yêu cầu độ trễ cực thấp. Làm thế nào API của bạn đạt được độ trễ dưới 300 mili giây trong khi vẫn duy trì độ chính xác?

Giữ độ trễ dưới 300 mili giây trong khi duy trì độ chính xác cao đòi hỏi một cách tiếp cận đa diện, kết hợp chuyên môn về phần cứng, tối ưu hóa thuật toán và thiết kế kiến trúc.

Trí tuệ nhân tạo thời gian thực không giống như tính toán truyền thống – nó gắn chặt với sức mạnh và hiệu quả của GPGPU. Tôi đã làm việc trong lĩnh vực này trong gần một thập kỷ, dẫn đầu bộ phận trí tuệ nhân tạo tại OVHCloud (nhà cung cấp đám mây lớn nhất tại EU), và đã học được rằng đó luôn là về việc tìm ra sự cân bằng đúng: bao nhiêu sức mạnh phần cứng bạn cần, nó có giá bao nhiêu, và bạn điều chỉnh các thuật toán để làm việc liền mạch với phần cứng đó.

Hiệu suất trong trí tuệ nhân tạo thời gian thực đến từ việc căn chỉnh hiệu quả các thuật toán của chúng tôi với khả năng của phần cứng, đảm bảo mọi hoạt động tối đa hóa thông lượng trong khi giảm thiểu độ trễ.

Nhưng đó không chỉ là trí tuệ nhân tạo và phần cứng. Kiến trúc hệ thống cũng đóng một vai trò quan trọng, đặc biệt là mạng, có thể thực sự ảnh hưởng đến độ trễ. CTO của chúng tôi, người có chuyên môn sâu về thiết kế mạng độ trễ thấp từ thời gian tại Sigfox (một công ty tiên phong trong lĩnh vực IoT), đã tối ưu hóa thiết lập mạng của chúng tôi để cắt giảm những mili giây quý giá.

Vì vậy, đó thực sự là sự kết hợp của tất cả các yếu tố này – lựa chọn phần cứng thông minh, tối ưu hóa thuật toán và thiết kế mạng – cho phép chúng tôi đạt được độ trễ dưới 300ms một cách nhất quán mà không ảnh hưởng đến độ chính xác.

Gladia vượt ra ngoài chuyển đổi giọng nói thành văn bản với các tính năng như phân biệt người nói, phân tích cảm xúc và bản ghi thời gian. Một số ứng dụng sáng tạo mà bạn đã thấy khách hàng của mình phát triển bằng cách sử dụng các công cụ này?

Chuyển đổi giọng nói thành văn bản mở ra một loạt các ứng dụng cho các nền tảng trên các lĩnh vực dọc, và thật tuyệt vời khi thấy nhiều công ty tiên phong thực sự đã xuất hiện trong hai năm qua, tận dụng các mô hình ngôn ngữ lớn và API của chúng tôi để xây dựng các sản phẩm cạnh tranh, tiên tiến. Dưới đây là một số ví dụ:

• Ghi chú thông minh: Nhiều khách hàng đang xây dựng các công cụ cho các chuyên gia cần nhanh chóng ghi lại và tổ chức thông tin từ các cuộc họp làm việc, bài giảng của sinh viên hoặc tư vấn y tế. Với phân biệt người nói, API của chúng tôi có thể xác định ai nói gì, làm cho nó dễ dàng theo dõi các cuộc trò chuyện và phân配 nhiệm vụ. Kết hợp với bản ghi thời gian, người dùng có thể chuyển thẳng đến các khoảnh khắc cụ thể trong một bản ghi, tiết kiệm thời gian và đảm bảo không có gì bị mất trong quá trình dịch.
• Khả năng bán hàng: Trong thế giới bán hàng, tốc độ và thông tin chính xác là mọi thứ. Các đội đang sử dụng tính năng phân tích cảm xúc của chúng tôi để có được thông tin chi tiết theo thời gian thực về cách khách hàng tiềm năng phản ứng trong các cuộc gọi hoặc bản demo. Ngoài ra, bản ghi thời gian giúp các đội quay lại các phần quan trọng của cuộc trò chuyện để tinh chỉnh đề xuất của họ hoặc giải quyết mối quan ngại của khách hàng một cách hiệu quả hơn. Đối với trường hợp sử dụng cụ thể này, NER cũng là chìa khóa để xác định tên, chi tiết công ty và các thông tin khác có thể được trích xuất từ các cuộc gọi bán hàng để tự động hóa CRM.
• Hỗ trợ trung tâm cuộc gọi: Các công ty trong lĩnh vực trung tâm hợp đồng đang sử dụng API của chúng tôi để cung cấp hỗ trợ trực tiếp cho các đại lý, cũng như đánh dấu cảm xúc của khách hàng trong các cuộc gọi. Phân biệt người nói đảm bảo rằng những điều được nói được gán cho đúng người, trong khi bản ghi thời gian cho phép các giám sát viên xem lại các khoảnh khắc quan trọng hoặc các vấn đề về tuân thủ một cách nhanh chóng. Điều này không chỉ cải thiện trải nghiệm khách hàng – với tỷ lệ giải quyết khi gọi và chất lượng giám sát tốt hơn – mà còn tăng năng suất và sự hài lòng của đại lý.

Bạn có thể thảo luận về vai trò của từ vựng tùy chỉnh và nhận dạng thực thể trong việc cải thiện độ tin cậy của chuyển đổi giọng nói thành văn bản cho người dùng doanh nghiệp không?

Nhiều ngành công nghiệp phụ thuộc vào thuật ngữ chuyên ngành, tên thương hiệu và ngôn ngữ tinh tế duy nhất. Tích hợp từ vựng tùy chỉnh cho phép giải pháp chuyển đổi giọng nói thành văn bản thích ứng với các nhu cầu cụ thể này, điều quan trọng để nắm bắt các sắc thái ngữ cảnh và cung cấp đầu ra phản ánh chính xác nhu cầu kinh doanh của bạn. Ví dụ, nó cho phép bạn tạo một danh sách các từ chuyên ngành theo miền, chẳng hạn như tên thương hiệu, trong một ngôn ngữ cụ thể.

Tại sao nó hữu ích: Thích ứng chuyển đổi giọng nói thành văn bản với nhu cầu cụ thể cho phép bạn giảm thiểu lỗi trong bản ghi, đạt được trải nghiệm người dùng tốt hơn. Tính năng này đặc biệt quan trọng trong các lĩnh vực như y tế hoặc tài chính.

Nhận dạng thực thể được đặt tên (NER) trích xuất và xác định thông tin chính từ dữ liệu âm thanh không cấu trúc, chẳng hạn như tên của người, tổ chức, vị trí và hơn thế nữa. Một thách thức phổ biến với dữ liệu không cấu trúc là thông tin quan trọng này không dễ dàng tiếp cận – nó bị chôn trong bản ghi.

Để giải quyết vấn đề này, Gladia đã phát triển một cách tiếp cận Trích xuất Dữ liệu Chính (KDE) có cấu trúc. Bằng cách tận dụng khả năng tạo sinh của kiến trúc dựa trên Whisper – tương tự như các mô hình ngôn ngữ lớn – KDE của Gladia nắm bắt ngữ cảnh để xác định và trích xuất thông tin liên quan trực tiếp.

Quá trình này có thể được tăng cường thêm với các tính năng như từ vựng tùy chỉnh và NER, cho phép các doanh nghiệp nhanh chóng và hiệu quả truyền key dữ liệu vào CRM.

Theo quan điểm của bạn, chuyển đổi giọng nói thành văn bản thời gian thực đang biến đổi các ngành công nghiệp như hỗ trợ khách hàng, bán hàng và tạo nội dung như thế nào?

Chuyển đổi giọng nói thành văn bản thời gian thực đang thay đổi những ngành công nghiệp này theo những cách sâu sắc, mang lại những lợi ích về năng suất đáng kinh ngạc, cùng với những lợi ích kinh doanh có thể đo lường được.

Trước hết, chuyển đổi giọng nói thành văn bản thời gian thực là một yếu tố thay đổi cuộc chơi cho các đội hỗ trợ. Hỗ trợ thời gian thực là chìa khóa để cải thiện tỷ lệ giải quyết nhờ phản hồi nhanh hơn, đại lý thông minh hơn và kết quả tốt hơn (về NSF, thời gian xử lý, v.v.). Khi các hệ thống nhận dạng giọng nói trở nên tốt hơn và tốt hơn trong việc xử lý các ngôn ngữ không phải tiếng Anh và thực hiện dịch thời gian thực, các trung tâm liên lạc có thể đạt được trải nghiệm khách hàng toàn cầu thực sự với biên độ thấp hơn.

Trong bán hàng, tốc độ và thông tin chính xác là mọi thứ. Tương tự như những gì xảy ra với các đại lý cuộc gọi, chuyển đổi giọng nói thành văn bản thời gian thực trang bị cho họ những thông tin chính xác vào đúng thời điểm, cho phép họ tập trung vào những gì quan trọng nhất trong việc đóng giao dịch.

Đối với các nhà sáng tạo, chuyển đổi giọng nói thành văn bản thời gian thực có lẽ ít liên quan hơn ngày nay, nhưng vẫn đầy tiềm năng, đặc biệt là khi nói đến việc ghi chú trực tiếp và dịch trong các sự kiện truyền thông. Hầu hết khách hàng truyền thông của chúng tôi vẫn thích chuyển đổi giọng nói thành văn bản không đồng bộ, vì tốc độ ít quan trọng hơn, trong khi độ chính xác là chìa khóa cho các ứng dụng như chỉnh sửa video thời gian và tạo phụ đề.

Chuyển đổi giọng nói thành văn bản trí tuệ nhân tạo thời gian thực dường như là một xu hướng ngày càng tăng. Bạn thấy công nghệ này đang đi đến đâu trong 5-10 năm tới?

Tôi cảm thấy hiện tượng mà chúng ta hiện gọi là trí tuệ nhân tạo thời gian thực sẽ ở khắp mọi nơi. Về cơ bản, điều chúng ta thực sự đề cập ở đây là khả năng của máy móc tương tác với con người theo cách chúng ta đã tương tác với nhau.

Và nếu bạn nhìn vào bất kỳ bộ phim Hollywood nào (như Her) được đặt trong tương lai, bạn sẽ không bao giờ thấy ai đó tương tác với các hệ thống thông minh qua bàn phím. Đối với tôi, điều đó phục vụ như bằng chứng cuối cùng rằng trong tưởng tượng tập thể của nhân loại, giọng nói sẽ luôn là cách chính mà chúng ta tương tác với thế giới xung quanh.

Giọng nói, như vectơ chính để tổng hợp và chia sẻ kiến thức của con người, đã là một phần của văn hóa và lịch sử của con người trong thời gian dài hơn nhiều so với việc viết. Sau đó, việc viết đã tiếp quản vì nó cho phép chúng ta bảo tồn kiến thức của mình hiệu quả hơn là dựa vào các nhà lãnh đạo cộng đồng để trở thành người bảo vệ câu chuyện và trí tuệ của chúng ta.

Các hệ thống trí tuệ nhân tạo có khả năng hiểu giọng nói, tạo ra phản hồi và lưu trữ các tương tác của chúng tôi, đã mang lại điều gì đó hoàn toàn mới vào không gian này. Đó là tốt nhất của cả hai thế giới và tốt nhất của nhân loại thực sự. Nó mang lại cho chúng ta sức mạnh và năng lượng độc đáo của giao tiếp giọng nói với lợi ích của bộ nhớ, điều mà trước đây chỉ có thể được bảo đảm bởi các phương tiện truyền thông viết. Đây là lý do tại sao tôi tin rằng nó sẽ ở khắp mọi nơi – đó là giấc mơ tập thể cuối cùng của chúng ta.

Cảm ơn bạn vì cuộc phỏng vấn tuyệt vời, độc giả muốn tìm hiểu thêm có thể truy cập Gladia.