Juan E. Riojas, Giám đốc CNTT tại Bland – Loạt bài phỏng vấn

Juan E. Riojas, Giám đốc CNTT tại Bland, là một nhà lãnh đạo giàu kinh nghiệm trong lĩnh vực công nghệ và dữ liệu, với sự nghiệp trải rộng trên các lĩnh vực CNTT doanh nghiệp, quản lý dữ liệu, phân tích, vận hành và chuyển đổi số. Trước khi gia nhập Bland vào tháng 12 năm 2025, ông giữ chức Giám đốc CNTT tại Twilio và Rackspace Technology, sau khi đảm nhiệm các vị trí lãnh đạo trước đó, gồm Giám đốc Dữ liệu tại Informatica và Phó chủ tịch phụ trách Quản lý dữ liệu và Phân tích tại Gogo. Ông cũng từng giữ các vị trí cấp cao về vận hành và quản lý tại Dell, Accenture, Expeditors International, OfficeMax và AxonGroup, qua đó tích lũy kinh nghiệm sâu rộng trong việc quản lý các sáng kiến công nghệ và dữ liệu tại những tổ chức quy mô lớn.

Bland là một công ty AI giọng nói dành cho doanh nghiệp, phát triển các tác nhân AI có khả năng xử lý cuộc gọi đến và đi, hỗ trợ khách hàng, lên lịch, tiếp nhận thông tin, định tuyến và các quy trình phức tạp khác. Nền tảng này chú trọng khả năng kiểm soát toàn bộ ngăn xếp công nghệ nền tảng: Bland tự phát triển và vận hành các mô hình giọng nói, ngôn ngữ và tổng hợp tiếng nói, đồng thời hỗ trợ triển khai trên Bland Cloud, đám mây riêng ảo hoặc môi trường doanh nghiệp tự lưu trữ hoàn toàn và cách ly khỏi mạng. Công ty đặc biệt tập trung vào các trường hợp sử dụng thuộc lĩnh vực chịu sự quản lý và yêu cầu bảo mật cao, với các tính năng như luồng hội thoại, tích hợp với hệ thống điện thoại hiện có, cấu hình thời hạn lưu giữ dữ liệu, kiểm soát truy cập dựa trên vai trò và các khả năng đáp ứng yêu cầu tuân thủ của doanh nghiệp.

Anh từng giữ chức Giám đốc CNTT tại Twilio và Rackspace, đảm nhiệm vai trò Giám đốc Dữ liệu tại Informatica, đồng thời dành phần lớn sự nghiệp làm việc với hạ tầng truyền thông và dữ liệu doanh nghiệp. Những trải nghiệm đó đã giúp anh hiểu gì về các rào cản mà doanh nghiệp gặp phải khi ứng dụng AI, và chúng đã định hình nền tảng tự lưu trữ mà anh đang xây dựng tại Bland như thế nào?

Kinh nghiệm của tôi tại Twilio, Rackspace và Informatica cho thấy rào cản lớn nhất đối với AI doanh nghiệp không phải là công nghệ, mà là niềm tin, khả năng kiểm soát và năng lực vận hành an toàn ở quy mô lớn. Các công ty cần biết dữ liệu của mình được lưu ở đâu, ai kiểm soát dữ liệu và liệu AI có thể hoạt động trong khuôn khổ bảo mật và quản trị mà họ đã mất nhiều năm xây dựng hay không. Điều đó đã định hình cách tiếp cận của chúng tôi tại Bland: cung cấp cho các công ty một nền tảng tự lưu trữ, mang lại sức mạnh của AI mà không buộc họ phải từ bỏ quyền kiểm soát hạ tầng hoặc dữ liệu của mình.

Bland là nền tảng AI giọng nói tự lưu trữ duy nhất, nghĩa là bạn sở hữu mọi lớp trong quy trình điều phối AI: chuyển lời nói thành văn bản, suy luận bằng LLM và chuyển văn bản thành lời nói. Vì sao Bland chọn hướng đi này, và những thách thức kỹ thuật khó khăn nhất khi sở hữu toàn bộ ngăn xếp AI giọng nói là gì?

Chúng tôi chọn tự lưu trữ và sở hữu mọi lớp, từ nhận dạng giọng nói tự động (ASR), khả năng suy luận của mô hình ngôn ngữ lớn (LLM) đến chuyển văn bản thành lời nói (TTS), vì ba lý do: độ trễ hội thoại dưới 1 giây, ranh giới bảo mật dữ liệu nghiêm ngặt và độ tin cậy vận hành cao.

Khi nối tiếp nhiều nhà cung cấp bên ngoài không đồng nhất, độ trễ sẽ cộng dồn. Các lượt truyền dữ liệu qua mạng theo cả chiều đi lẫn chiều về, độ trễ hàng đợi riêng biệt và thời gian khởi động nguội chồng chất lên nhau. Kết quả là những khoảng ngừng thiếu tự nhiên làm gián đoạn mạch hội thoại.

Bằng cách đặt các mô hình cùng một môi trường chạy thống nhất và loại bỏ sự phụ thuộc vào API của bên thứ ba, chúng tôi loại bỏ được những lượt truyền dữ liệu đó. Cách làm này cũng giúp chúng tôi có toàn quyền chủ quyền đối với dữ liệu; các luồng thoại nhạy cảm và bản chép lời không bao giờ bị rò rỉ đến các nhà cung cấp mô hình AI tiên tiến bên ngoài.

Những thách thức kỹ thuật khó khăn nhất nằm ở điều phối độ trễ, đồng bộ hóa luồng dữ liệu và lập lịch GPU với mức độ đồng thời cao. Xử lý giọng nói hai chiều theo thời gian thực đòi hỏi quá trình tạo token theo luồng diễn ra liền mạch. Công cụ TTS phải bắt đầu tổng hợp âm thanh ngay cả trước khi LLM tạo xong câu nói.

Để làm được điều đó, chúng tôi xây dựng các công cụ suy luận tùy chỉnh, quy trình giải mã suy đoán có độ trễ thấp và các điều chỉnh cho mô hình âm học. Kết hợp lại, những giải pháp này ngăn hiện tượng giật, quản lý việc luân phiên lượt nói và xử lý khéo léo những lúc người dùng ngắt lời, đồng thời không làm cạn bộ nhớ GPU.

Nhiều nền tảng AI giọng nói kết hợp dịch vụ phiên âm, suy luận và tạo lời nói từ các nhà cung cấp bên thứ ba khác nhau. Việc Bland tự sở hữu và vận hành nhiều phần hơn của ngăn xếp đó mang lại những lợi thế nào, và đi kèm với những đánh đổi kỹ thuật gì?

Lợi thế lớn nhất là khả năng kiểm soát độ trễ từ đầu đến cuối. Không có độ trễ mạng giữa ASR, LLM và TTS, vì vậy chúng tôi có thể chạy các quy trình xử lý luồng thống nhất, tối ưu hóa xuyên suốt các lớp và kiểm soát chặt chẽ thời gian từ yêu cầu đến byte đầu tiên. Bạn không thể có được mức độ kiểm soát đó khi mỗi thành phần đến từ một nhà cung cấp khác nhau.

Lợi thế thứ hai là có một ranh giới bảo mật và tuân thủ thống nhất. Dữ liệu không bao giờ rời khỏi môi trường do chúng tôi kiểm soát, vì vậy âm thanh và bản chép lời của khách hàng luôn nằm trong phạm vi bảo vệ đã được xác minh. Điều đó loại bỏ rủi ro từ các đơn vị xử lý phụ của bên thứ ba và giúp việc tuân thủ HIPAA, SOC 2 và PCI DSS đơn giản hơn nhiều. Bất kỳ ai từng trải qua quá trình đánh giá bảo mật nhà cung cấp đều hiểu điều này quan trọng đến mức nào.

Lợi thế thứ ba là khả năng dự đoán chi phí. Chúng tôi không phải trả mức phí cộng thêm tính theo token hoặc phút sử dụng cho API mô hình nền tảng bên ngoài, nhờ đó chi phí đơn vị vẫn có thể dự đoán được ở quy mô doanh nghiệp. Và vì các mô hình là của chúng tôi, chúng tôi có thể trực tiếp tinh chỉnh âm học, ngữ điệu và trọng số suy luận dành riêng cho từng tác vụ.

Tuy nhiên, tất cả những điều đó đều đòi hỏi chi phí đáng kể. Cách tiếp cận này cần hạ tầng quy mô lớn và vốn đầu tư cho GPU. Quản lý các cụm GPU chuyên dụng lớn đòi hỏi năng lực lập lịch, điều phối và chuyển đổi dự phòng giữa nhiều khu vực phức tạp, đồng thời chi phí phần cứng cũng cao.

Chúng tôi cũng tự gánh vác công việc bảo trì và chuyên biệt hóa mô hình. Chúng tôi không thể giao phó nghiên cứu tiên phong cho các nhà cung cấp bên ngoài. Thay vào đó, chúng tôi đảm nhận công việc kỹ thuật liên tục để huấn luyện, đánh giá và bảo trì các mô hình nội bộ, đáp ứng nhiều giọng vùng miền, điều kiện tiếng ồn nền và ngôn ngữ khác nhau.

Đối với chúng tôi, sự đánh đổi đó là xứng đáng.

Bland đã nhận được chứng nhận FedRAMP 20x Class A vào tháng 8 và cho biết đây là nền tảng AI giọng nói đầu tiên đạt chứng nhận này. Hầu hết độc giả sẽ không biết 20x khác gì so với FedRAMP đời cũ. Class A là gì, và trên thực tế, các bạn phải chứng minh những gì để đạt được chứng nhận?

FedRAMP 20x là khuôn khổ hiện đại hóa, thuần đám mây, được giới thiệu theo Bộ quy tắc hợp nhất FedRAMP năm 2026 (CR26). Quy trình cũ phân loại mọi thứ theo các mức độ tác động của FIPS 199 (Thấp, Trung bình và Cao) và nổi tiếng là nặng nề về thủ tục giấy tờ. 20x thay thế các mức này bằng các hạng chứng nhận ký hiệu bằng chữ cái: A, B, C và D.

Class A là hạng cấp đầu vào. Hạng này được thiết kế riêng cho các nhà cung cấp dịch vụ đám mây (CSP) thương mại đã có chương trình bảo mật hoàn thiện và muốn tham gia thị trường liên bang. Hãy xem đây là bước đệm để gia nhập, chứ không phải đích đến lâu dài. Bạn sẽ nhận được Chứng nhận Chương trình được công nhận, do Văn phòng Quản lý Chương trình FedRAMP (PMO) trực tiếp cấp, sau đó có 2 năm để chuyển lên Class B, C hoặc D.

Để đạt được chứng nhận, chúng tôi phải chứng minh bốn điều. Thứ nhất, có cuộc kiểm toán SOC 2 Type II hiện hành, đã được xác minh, bao quát các nguyên tắc cốt lõi về bảo mật, tính bảo mật và tính sẵn sàng. Thứ hai, xác định rõ ràng và cô lập hợp lý ranh giới dịch vụ đám mây liên bang, bao gồm các dịch vụ thoại, SMS và trò chuyện của chúng tôi.

Thứ ba, triển khai các Chỉ số Bảo mật then chốt (KSI) bắt buộc của FedRAMP 20x ở mức cơ bản, đồng thời sẵn sàng giám sát liên tục. Nội dung này bao gồm quét lỗ hổng, quy trình ứng phó sự cố, thực thi kiểm soát truy cập và báo cáo bảo mật liên tục ở định dạng máy có thể đọc được.

Điều thứ tư là điểm mà việc sở hữu toàn bộ hệ thống công nghệ thực sự phát huy tác dụng. Chúng tôi phải xác minh rằng mọi hoạt động chuyển lời nói thành văn bản, suy luận và tổng hợp giọng nói đều diễn ra hoàn toàn bên trong ranh giới vùng chứa được Bland cấp phép, không truyền dữ liệu liên bang đến các nhà cung cấp AI tiên tiến bên thứ ba chưa được thẩm định. Với một nền tảng được chắp vá từ các nhà cung cấp bên ngoài, đây là yêu cầu rất khó đáp ứng.

Bland hỗ trợ các phương án triển khai từ VPC đám mây riêng đến hạ tầng GPU chuyên dụng tại chỗ. Kiến trúc thay đổi như thế nào khi chuyển giữa các mô hình triển khai này, đặc biệt là về độ trễ, khả năng mở rộng và yêu cầu hạ tầng?

Nói ngắn gọn, càng tiến gần đến triển khai tại chỗ, bạn càng được lợi về độ trễ và khả năng kiểm soát, nhưng càng phải đánh đổi khả năng co giãn.

Trước hết là độ trễ. Cả triển khai tại chỗ lẫn VPC chuyên dụng đều giảm thiểu lưu lượng truyền qua mạng bên ngoài vì chúng nằm ngay cạnh các đường trung kế điện thoại nội bộ và cổng SIP của doanh nghiệp. Với VPC đám mây riêng, chẳng hạn trên AWS hoặc GCP, độ trễ phụ thuộc vào kết nối mạng trong cùng khu vực và các kết nối liên thông đám mây. Phần cứng bare-metal chuyên dụng tại chỗ còn tiến thêm một bước. Phương án này loại bỏ hoàn toàn các lớp ảo hóa hypervisor và định tuyến qua internet công cộng, nhờ đó giảm độ biến thiên trễ âm thanh xuống mức thấp nhất có thể.

Sự đánh đổi thể hiện rõ nhất ở khả năng mở rộng. Trong VPC đám mây, chúng tôi mở rộng theo chiều ngang bằng cơ chế điều phối co giãn, chẳng hạn như các cụm Kubernetes tự động mở rộng được hỗ trợ bởi các phiên bản GPU trên đám mây, để công suất tự điều chỉnh khi lượng cuộc gọi tăng đột biến. Môi trường tại chỗ không vận hành theo cách đó. Bạn phải hoạt động trong giới hạn công suất GPU vật lý cố định, đồng nghĩa với việc cần kiểm soát chặt chẽ quyền tiếp nhận, áp dụng chính sách xếp hàng và bố trí phần cứng cố định dựa trên số cuộc gọi đồng thời vào giờ cao điểm. Bạn phải lên kế hoạch trước cho ngày bận rộn nhất.

Yêu cầu hạ tầng cũng khá khác biệt. Các phương án triển khai VPC riêng có thể tận dụng dịch vụ lưu trữ đám mây được quản lý, IAM gốc và dịch vụ quản lý bí mật trên đám mây. Các hệ thống cài đặt tại chỗ cần có cụm GPU chuyên dụng lắp trong tủ rack (chẳng hạn như bộ tăng tốc cấp doanh nghiệp của NVIDIA), hạ tầng mạng nội bộ băng thông cao, mô-đun bảo mật phần cứng (HSM) hoặc kho khóa cục bộ, cùng các bộ thu thập dữ liệu đo từ xa tại chỗ. Tất cả đều phải chạy trên môi trường thực thi vùng chứa cấp doanh nghiệp có thể hoạt động hoàn toàn trong môi trường cách ly mạng hoặc bị hạn chế kết nối ra bên ngoài.

Bland cho phép doanh nghiệp kiểm soát các đợt phát hành, duy trì các môi trường kiểm thử riêng biệt và triển khai thử phiên bản mới cho một phần cuộc gọi thực tế trước khi phổ biến rộng rãi hơn. Vì sao các phương thức phát hành phần mềm truyền thống ngày càng trở nên quan trọng khi các tác nhân AI được đưa vào môi trường sản xuất phục vụ khách hàng?

Đó là vì các tác nhân AI không hoạt động như phần mềm doanh nghiệp truyền thống.

Phần mềm tất định luôn thực hiện cùng một việc trong mọi lần chạy. Các tác nhân AI tạo sinh hoạt động theo xác suất và không tất định. Một điều chỉnh nhỏ trong câu lệnh, một lần cập nhật trọng số mô hình hoặc một thay đổi trong luồng xử lý đều có thể vô tình gây ra lỗi thoái hóa trong hội thoại, hiện tượng bịa đặt thông tin hoặc vi phạm chính sách tuân thủ. Thông thường, bản thân thay đổi đó không cho bạn biết trước điều này sắp xảy ra.

Đó là lý do kỷ luật phát hành trước đây giờ càng quan trọng, chứ không phải kém quan trọng hơn. Môi trường thử nghiệm tách biệt và quy trình kiểm thử hồi quy nghiêm ngặt trên kho dữ liệu các cuộc gọi trước đây giúp phát hiện nhiều vấn đề trước khi bất cứ thứ gì được đưa vào sử dụng. Triển khai canary còn tiến thêm một bước. Bạn triển khai phiên bản mới cho một tỷ lệ cuộc gọi trực tiếp được kiểm soát và theo dõi các chỉ số theo thời gian thực, chẳng hạn như mức độ suy giảm cảm xúc, tỷ lệ hoàn thành mục tiêu, đột biến độ trễ và các yếu tố kích hoạt chuyển cấp hoặc bàn giao. Tất cả những việc đó diễn ra trước khi phiên bản mới được áp dụng cho nhóm khách hàng rộng hơn.

Mức độ rủi ro khiến điều này trở thành yêu cầu bắt buộc. Trong dịch vụ khách hàng, xử lý khiếu nại hoặc quản lý tài khoản, một sự cố có thể dẫn đến rủi ro vi phạm quy định hoặc gây tổn hại nghiêm trọng đến thương hiệu. Áp dụng quy trình kiểm soát canary chặt chẽ và khôi phục ngay lập tức là cách ngăn một bản cập nhật lỗi trở thành tin tức tai tiếng.

Ngân hàng, tổ chức chăm sóc sức khỏe, công ty bảo hiểm và cơ quan chính phủ thường phải đối mặt với những rào cản cao hơn nhiều so với các doanh nghiệp khác khi triển khai AI tạo sinh. Qua những cuộc trò chuyện của bạn với các tổ chức này, đâu mới là yếu tố thực sự đang cản trở việc triển khai AI giọng nói rộng rãi hơn hiện nay: bảo mật, chủ quyền dữ liệu, độ tin cậy, độ phức tạp khi tích hợp, quy trình mua sắm hay điều gì khác?

Bảo mật và chủ quyền dữ liệu là những trở ngại lớn hơn hẳn; độ phức tạp khi tích hợp và kiến trúc cũ đứng sát phía sau. Điều này nhất quán trong các cuộc trò chuyện của chúng tôi với các tổ chức thuộc lĩnh vực ngân hàng, chăm sóc sức khỏe, bảo hiểm và chính phủ.

Về bảo mật, các tổ chức chịu sự quản lý nghiêm ngặt đơn giản là không thể chấp nhận một kiến trúc trong đó luồng âm thanh nhạy cảm, thông tin sức khỏe được bảo vệ (PHI) hoặc thông tin cá nhân không công khai đi qua ranh giới API bên ngoài hay bị các nhà cung cấp mô hình bên thứ ba lưu giữ để huấn luyện. Với những khách hàng này, khả năng kiểm toán, cam kết không lưu giữ dữ liệu và các ranh giới tuân thủ nghiêm ngặt như HIPAA, FedRAMP và PCI DSS không phải là những tính năng có thì tốt. Đó là các điều kiện tiên quyết cơ bản. Nếu không đáp ứng được những yêu cầu này, cuộc trao đổi thường kết thúc ngay tại đó.

Tích hợp là rào cản tiếp theo. Nhiều doanh nghiệp trong số này vẫn vận hành trên các hệ thống tổng đài PBX cũ được triển khai tại chỗ, hệ thống IVR phức tạp và các hệ thống hồ sơ cốt lõi rời rạc, chẳng hạn như Epic hoặc Cerner trong lĩnh vực chăm sóc sức khỏe, hay các hệ thống máy tính lớn trong ngành ngân hàng. Việc kết nối các luồng hội thoại với khả năng truy cập API đọc/ghi hai chiều, độ trễ thấp theo thời gian thực trên những môi trường đó làm phát sinh chi phí tích hợp đáng kể.

Tiếp theo là độ tin cậy và nguy cơ ảo giác. Các nhóm pháp chế, quản lý rủi ro và mua sắm dễ hiểu là lo ngại việc một tác nhân giọng nói tự động đưa ra lời khuyên sai lệch về tài chính, y tế hoặc quy định. Trước khi chấp thuận triển khai ở quy mô sản xuất, họ muốn có các cơ chế bảo vệ chi tiết, phương án dự phòng hội thoại mang tính xác định và quy trình chuyển tiếp rõ ràng cho con người xử lý.

Cảm ơn vì cuộc phỏng vấn tuyệt vời. Độc giả muốn tìm hiểu thêm có thể truy cập Bland.