Raj Shukla, CTO của SymphonyAI – Phỏng vấn

Raj Shukla lãnh đạo đường lối công nghệ và thực hiện của SymphonyAI, dẫn dắt đội ngũ kỹ sư xây dựng nền tảng AI Eureka Gen. Với gần 20 năm kinh nghiệm về kỹ thuật và nghiên cứu AI/ML, Shukla cũng có kinh nghiệm sâu về AI SaaS doanh nghiệp từ các vai trò lãnh đạo kỹ thuật tại Microsoft (MSFT ), nơi ông đã có sự nghiệp thành công 14 năm, bao gồm lãnh đạo các tổ chức khoa học và kỹ thuật AI toàn cầu trên Azure, Dynamics 365, MSR và các bộ phận tìm kiếm và quảng cáo. Raj có kinh nghiệm rộng về AI/ML trên các lĩnh vực tìm kiếm, quảng cáo và AI doanh nghiệp, và đã xây dựng nhiều sản phẩm AI SaaS thành công trong cả lĩnh vực người tiêu dùng và doanh nghiệp.

SymphonyAI là một công ty AI doanh nghiệp tập trung vào xây dựng các ứng dụng AI cụ thể cho ngành, mang lại giá trị kinh doanh ngay lập tức. Thay vì các mô hình chung chung, nó cung cấp các giải pháp dọc cho bán lẻ, hàng tiêu dùng, dịch vụ tài chính, sản xuất, truyền thông và CNTT, giải quyết các thách thức như dự báo, phòng chống gian lận, tối ưu hóa hoạt động và phân tích. Các sản phẩm của nó được cung cấp bởi nền tảng AI Eureka, kết hợp các khả năng dự đoán, tạo sinh và tác nhân vào các quy trình được tùy chỉnh cho từng lĩnh vực. Được thành lập vào năm 2017, công ty đã phát triển thành một nhà lãnh đạo toàn cầu trong AI dọc, phục vụ hàng nghìn khách hàng doanh nghiệp với các giải pháp có thể mở rộng, tập trung vào lĩnh vực.

Bạn đã làm việc ở tiền phong của sự đổi mới AI tại Microsoft, Oracle (ORCL ) và bây giờ là SymphonyAI – điều gì ban đầu thu hút bạn vào thế giới AI doanh nghiệp, và quan điểm của bạn đã thay đổi như thế nào qua các năm?

Hành trình của tôi vào AI doanh nghiệp bắt đầu với niềm tin cốt lõi rằng các công ty nên triển khai AI giải quyết các vấn đề kinh doanh thực sự, không chỉ tạo ra AI vì lợi ích của AI. Tôi đã thấy rằng các giải pháp AI chung chung, rộng rãi thường không mang lại giá trị chuyển đổi. Tại SymphonyAI, chúng tôi đã xây dựng chiến lược và văn hóa công ty dựa trên việc phát triển AI hiểu rõ các thách thức cụ thể của ngành, từ phát hiện tội phạm tài chính đến bán lẻ tập trung vào người mua đến việc trao quyền cho công nhân kết nối công nghiệp. Sự sẵn sàng cho doanh nghiệp thêm một chiều hướng khác – AI doanh nghiệp thành công đòi hỏi hơn là công nghệ tuyệt vời, nó đòi hỏi quản trị dữ liệu và kiến trúc mẫu mực, cộng tác và quy trình chức năng chéo tinh vi, và tính minh bạch và kiểm toán đầy đủ.

Những điểm yếu cụ thể nào mà các doanh nghiệp gặp phải với các mô hình được đào tạo trước chung chung, đặc biệt là trong các lĩnh vực có quy định chặt chẽ như tài chính hoặc chăm sóc sức khỏe? 

Các mô hình được đào tạo trước chung chung không được xây dựng cho các môi trường có quy định cao, rủi ro cao như tài chính, chăm sóc sức khỏe và bán lẻ. Các mô hình được đào tạo trước chung chung gặp phải các rào cản quan trọng, bao gồm nhu cầu về chuyên môn lĩnh vực để giải quyết các sắc thái cụ thể của ngành và đáp ứng các yêu cầu quy định và tuân thủ khác nhau trên các khu vực địa lý. Điều quan trọng nhất là chúng không thể cung cấp độ chính xác và tính truy vết mà các doanh nghiệp yêu cầu, nơi các lỗi có thể gây hại cho người tiêu dùng hoặc kích hoạt các vi phạm quy định. Bất kể đó là tuân thủ các quy định chống rửa tiền hay cho phép một cửa hàng bán lẻ nhanh chóng loại bỏ các mặt hàng bị召 hồi khỏi trung tâm phân phối và kệ hàng, công nghệ AI dọc của SymphonyAI được xây dựng cụ thể cho các ngành chúng tôi hoạt động và được đào tạo trên các ontology của ngành đó, cho phép chúng đưa ra hoặc tự động hóa các quyết định tạo ra tác động kinh doanh trực tiếp.

Kết hợp các mô hình được đào tạo trước với logic lĩnh vực sâu sắc ngày càng được coi là chìa khóa để mở khóa ROI doanh nghiệp – những thành phần thiết yếu như kiến thức ngành, sự liên kết KPI và rào cản quy định là gì, làm cho phương pháp này hiệu quả? 

Kết hợp các mô hình được đào tạo trước với logic lĩnh vực sâu sắc mở khóa giá trị bằng cách tạo ra các hệ thống AI hiểu được ngữ cảnh kinh doanh và yêu cầu hoạt động. Phương pháp này thành công khi các mô hình được tăng cường với các ontology cụ thể của ngành, được liên kết với các KPI của doanh nghiệp để đảm bảo rằng đầu ra phục vụ trực tiếp các mục tiêu kinh doanh có thể đo lường và được trang bị các rào cản quy định cung cấp các khuôn khổ tuân thủ và kiểm toán cần thiết. Khi các yếu tố này hoạt động cùng nhau, AI chung chung biến thành các giải pháp kinh doanh quan trọng thúc đẩy kết quả có thể đo lường trong khi duy trì độ tin cậy và tuân thủ mà các doanh nghiệp yêu cầu.

IBM gần đây đã mua lại Seek AI và ra mắt Watsonx Labs tại New York, cho thấy một sự thay đổi chiến lược tiềm năng trong cảnh quan AI – điều này chỉ ra điều gì về tương lai của M&A và xu hướng đầu tư trong AI doanh nghiệp? 

Việc mua lại Seek AI của IBM và việc ra mắt Watsonx Labs là sự xác nhận của sự thay đổi cơ bản mà chúng tôi đã dự đoán: cảnh quan AI doanh nghiệp đã thay đổi, cho thấy rằng làn sóng M&A tiếp theo sẽ ưu tiên các công ty có mô hình AI dọc được đào tạo trước, đi kèm với chuyên môn sâu về ngành, quản trị và rào cản quy định, cũng như KPI định hướng kết quả. Các nhà mua lại chiến lược như IBM nhận ra rằng các tác nhân AI tập trung vào dữ liệu doanh nghiệp mang lại ROI ngay lập tức khi chúng hiểu rõ các quy trình làm việc cụ thể của ngành. Thị trường đang hợp nhất xung quanh việc nhận ra rằng trí tuệ tổng quát cần chuyên môn hóa dọc để thúc đẩy chuyển đổi doanh nghiệp.

Ở điểm nào thì một mô hình nền tảng tiến hóa thành một tác nhân cụ thể của ngành – những cột mốc kiến trúc nào báo hiệu sự chuyển đổi này? 

Một mô hình nền tảng không tự nhiên trưởng thành thành một tác nhân của ngành; nó phải được thiết kế thành một. Không có con đường trực tiếp mà một mô hình chung chung đơn giản “trở nên thông minh hơn” và trở thành một điều tra viên ngân hàng. Sự chuyển đổi chỉ xảy ra khi các đội ngũ kỹ thuật ngừng dựa vào trí thông minh thô của mô hình và bắt đầu xây dựng kiến trúc được quản trị xung quanh nó – cụ thể là tiêm một lớp ngữ cảnh (như một đồ thị tri thức) và một lớp điều phối để buộc mô hình phải tuân theo một quy trình kinh doanh chứ không phải theo xu hướng xác suất của nó.

Những thách thức cốt lõi nào trong việc xây dựng các quy trình tác nhân vừa mạnh mẽ vừa cụ thể của ngành, và SymphonyAI giải quyết chúng như thế nào? 

Các thách thức cốt lõi trong việc xây dựng các quy trình tác nhân mạnh mẽ và cụ thể của ngành là duy trì độ tin cậy trên các quy trình đa bước phức tạp. SymphonyAI giải quyết những thách thức này thông qua kiến trúc nhiều lớp của mình, nhúng chuyên môn lĩnh vực trực tiếp vào tác nhân, thực hiện xử lý lỗi với khả năng phục hồi sau sự cố và duy trì quản lý ngữ cảnh liên tục trên các quy trình doanh nghiệp đa phiên. Điều này cho phép các tác nhân của chúng hoạt động đáng tin cậy trong các môi trường có quy định cao, nơi độ tin cậy có nghĩa là duy trì độ chính xác, tuân thủ và tính toàn vẹn hoạt động.

SymphonyAI nhấn mạnh vào các nền tảng dữ liệu mạnh mẽ, đồ thị tri thức và lớp siêu dữ liệu – tại sao những khả năng này lại quan trọng đối với các tác nhân AI dọc, và tại sao nhiều doanh nghiệp lại gặp khó khăn trong việc triển khai chúng? 

Các nền tảng dữ liệu mạnh mẽ và đồ thị tri thức là rất quan trọng đối với các tác nhân AI dọc để có nguồn thông tin có ý nghĩa, đưa ra các khuyến nghị được ngữ cảnh hóa và cập nhật với các thay đổi của thị trường, khách hàng và quy trình trên tất cả các cấp độ của doanh nghiệp. Hầu hết các doanh nghiệp gặp khó khăn trong việc triển khai những khả năng này vì chúng đòi hỏi sự đầu tư lớn về kiến trúc dữ liệu, chuyên môn ontology chuyên sâu và những thay đổi cơ bản đối với các thực hành dữ liệu hiện có mà nhiều tổ chức thấy khó khăn về mặt tổ chức và kỹ thuật. Đó là nơi một đối tác công nghệ AI có kinh nghiệm và kiến thức sâu về lĩnh vực đó trở nên vô giá, bao gồm cả khả năng của họ trong việc đào tạo trước AI trên lượng lớn dữ liệu và nguồn từ nhiều khách hàng thực tế trong ngành đó.

Trong các kịch bản thực tế – như phát hiện tội phạm tài chính hoặc dự báo bán lẻ – SymphonyAI kết hợp AI dự đoán, tạo sinh và tác nhân như thế nào vào các “kỹ năng” gắn kết?

SymphonyAI kết hợp AI dự đoán, tạo sinh và tác nhân vào các “kỹ năng” gắn kết bằng cách tạo ra các quy trình công việc tích hợp nơi mỗi sản phẩm AI đáp ứng một vấn đề kinh doanh cụ thể. Trong phát hiện tội phạm tài chính, các mô hình dự đoán của chúng tôi xác định các mẫu giao dịch đáng ngờ, và AI tạo sinh tạo ra các báo cáo điều tra và đánh giá rủi ro chi tiết. Đồng thời, AI tác nhân điều phối toàn bộ quy trình, tự động nâng cấp các trường hợp, phối hợp với các đội tuân thủ và thích nghi với các chiến lược điều tra dựa trên các phát hiện thời gian thực.

Chìa khóa là những điều này không phải là các công cụ AI riêng biệt, chúng là các khả năng tích hợp trong các tác nhân cụ thể của ngành hiểu được ngữ cảnh kinh doanh, duy trì trạng thái quy trình và có thể chuyển đổi mượt mà giữa phân tích dự đoán, tạo nội dung và hành động tự chủ để mang lại kết quả kinh doanh hoàn chỉnh chứ không phải đầu ra AI rời rạc.

Bạn đã cảnh báo rằng nhiều tác nhân AI doanh nghiệp có thể vấp ngã mà không có sự mạnh mẽ – những đặc điểm chính của một tác nhân AI doanh nghiệp được thiết kế tốt, có khả năng chịu lỗi là gì? 

Một tác nhân AI doanh nghiệp được thiết kế tốt, có khả năng chịu lỗi đòi hỏi một số đặc điểm quan trọng. Mặc dù nhiều doanh nghiệp đang đầu tư nhanh chóng vào và triển khai các tác nhân AI để tăng cường hiệu quả, năng suất và đổi mới, họ thường đánh giá thấp công việc nền tảng cần thiết cho thành công. Một số khía cạnh quan trọng mà các tác nhân được thiết kế tốt cần có để thành công là:

• Các tác nhân AI doanh nghiệp hoạt động trên dữ liệu doanh nghiệp, thường bị cô lập và thiếu truy cập, quyền và kiểm soát chương trình. Các tác nhân cần được trang bị các điều khoản xác thực và ủy quyền giống như nhân viên.
• Các tác nhân cũng cần phục hồi từ tất cả các dạng thất bại của hệ thống doanh nghiệp, sự cố mạng và điểm cuối không ổn định. Lớp điều phối cần cho phép các quy trình công việc lâu dài, bền vững, có khả năng chịu lỗi, điều mà hầu hết các điều phối viên LLM phổ biến không làm được.
• Các LLM sẽ không xác định và thất bại trong các nhiệm vụ. Phục hồi thất bại, thử lại và khám phá đường dẫn tối ưu cần là các tính năng chính của các hệ thống tác nhân.

Đối với các CTO đang cân nhắc xây dựng các nền tảng AI dọc nội bộ so với việc hợp tác với các nhà cung cấp chuyên ngành, bạn sẽ đưa ra lời khuyên gì? 

Xây dựng các giải pháp AI doanh nghiệp trên nhiều ngành, bao gồm bán lẻ/CPG, công nghiệp, dịch vụ tài chính và nhiều hơn, đòi hỏi phải thành thạo đồng thời cả công nghệ AI tiên tiến và chuyên môn sâu về ngành để đạt được giá trị thực sự từ các giải pháp AI doanh nghiệp. Nền tảng AI Eureka của chúng tôi chứng minh cách các nguồn dữ liệu, đồ thị tri thức, mô hình dự đoán và tác nhân cụ thể của ngành phải được tùy chỉnh cho từng ngành, nhưng điều này đại diện cho nhiều năm đầu tư nghiên cứu và lặp lại với khách hàng mà hầu hết các đội ngũ nội bộ không có. Đối với các doanh nghiệp và CTO đang đầu tư vào AI, tôi khuyên họ nên chọn các giải pháp mang lại kết quả thực sự từ ngày đầu tiên. Các giải pháp AI dọc cung cấp những kết quả đó, mang lại cho người dùng dữ liệu mà họ có thể sử dụng để tạo ra giá trị kinh doanh.

Nhìn về tương lai, bạn hình dung kiến trúc AI doanh nghiệp sẽ như thế nào – liệu các tác nhân dọc liên bang được xây dựng trên các mô hình nền tảng chung sẽ trở thành tiêu chuẩn?

Chúng tôi sẽ không chỉ thấy ‘liên bang’ tác nhân; chúng tôi sẽ thấy các kiến trúc tác nhân được quản trị. Trong khi các mô hình nền tảng chung cung cấp động cơ suy luận, chúng về cơ bản là hàng hóa. ‘Tiêu chuẩn’ cho các doanh nghiệp thành công sẽ là việc triển khai các tác nhân chuyên môn hóa dọc không chỉ ‘nói chuyện’ với nhau mà còn được điều phối nghiêm ngặt thông qua một lớp ngữ cảnh chung. Nếu bạn chỉ có ‘liên bang’ tác nhân được xây dựng trên các mô hình nền tảng, bạn sẽ có một hệ thống ồn ào, dễ bị ảo giác – điều mà chúng tôi gọi là ‘đường ống rò rỉ’ của AI doanh nghiệp. Để làm cho kiến trúc này có thể mở rộng trong sản xuất, bạn cần ba lớp cụ thể vượt ra ngoài sự liên bang đơn giản:

• Ngữ cảnh (Đồ thị tri thức ngành): Các tác nhân cần chia sẻ một nguồn sự thật duy nhất, không chỉ trao đổi xác suất.
• Điều phối: Bạn cần một ‘kiến trúc sư trưởng’ quyết định khi nào sử dụng một tác nhân chuyên môn hóa và khi nào giữ một con người trong vòng lặp.
• Quản trị: Đầu ra phải được đảm bảo an toàn về mặt pháp lý và hoạt động trước khi nó rời khỏi hệ thống.

Cảm ơn vì cuộc phỏng vấn tuyệt vời, độc giả muốn tìm hiểu thêm có thể truy cập SymphonyAI.