Raj Shukla, CTO của SymphonyAI – Loạt phỏng vấn

Raj Shukla dẫn dắt lộ trình công nghệ và thực hiện của SymphonyAI, lãnh đạo đội ngũ kỹ sư xây dựng nền tảng AI Gen Eureka. Với gần 20 năm kinh nghiệm về kỹ thuật và nghiên cứu AI/ML, Shukla cũng có kinh nghiệm rộng rãi về AI SaaS doanh nghiệp từ các vai trò lãnh đạo kỹ thuật tại Microsoft, nơi sự nghiệp thành công 14 năm của ông bao gồm lãnh đạo các tổ chức khoa học và kỹ thuật toàn cầu trên Azure, Dynamics 365, MSR và các bộ phận tìm kiếm và quảng cáo. Raj có kinh nghiệm rộng rãi về AI/ML trên tìm kiếm, quảng cáo và AI doanh nghiệp, và đã xây dựng nhiều sản phẩm AI SaaS thành công trong cả lĩnh vực tiêu dùng và kinh doanh.

SymphonyAI là một công ty AI doanh nghiệp tập trung vào xây dựng các ứng dụng AI cụ thể cho ngành công nghiệp, mang lại giá trị kinh doanh ngay lập tức. Thay vì các mô hình chung chung, nó cung cấp các giải pháp dọc cho bán lẻ, hàng tiêu dùng, dịch vụ tài chính, sản xuất, truyền thông và CNTT, giải quyết các thách thức như dự báo, phòng chống gian lận, tối ưu hóa hoạt động và phân tích. Các sản phẩm của nó được cung cấp bởi nền tảng AI Eureka, kết hợp khả năng dự đoán, tạo ra và tác nhân vào các quy trình được tùy chỉnh cho từng lĩnh vực. Được thành lập vào năm 2017, công ty đã phát triển thành một nhà lãnh đạo toàn cầu trong lĩnh vực AI dọc, phục vụ hàng nghìn khách hàng doanh nghiệp với các giải pháp có khả năng mở rộng và tập trung vào lĩnh vực.

Bạn đã làm việc ở tiền phong của sự đổi mới AI tại Microsoft, Oracle và bây giờ là SymphonyAI— điều gì ban đầu thu hút bạn vào thế giới AI doanh nghiệp, và quan điểm của bạn đã thay đổi như thế nào qua các năm?

Hành trình của tôi vào AI doanh nghiệp bắt đầu với niềm tin cốt lõi rằng các công ty nên triển khai AI giải quyết các vấn đề kinh doanh thực sự, không chỉ tạo ra AI vì lợi ích của AI. Tôi đã thấy rằng các giải pháp AI chung chung, rộng rãi thường không mang lại giá trị biến đổi. Tại SymphonyAI, chúng tôi đã xây dựng chiến lược và văn hóa công ty dựa trên việc phát triển AI hiểu các thách thức cụ thể của ngành công nghiệp, từ phát hiện tội phạm tài chính đến bán lẻ tập trung vào người mua đến việc trao quyền cho người lao động kết nối công nghiệp. Sự sẵn sàng cho doanh nghiệp thêm một chiều hướng khác – AI doanh nghiệp thành công đòi hỏi hơn là công nghệ tuyệt vời, nó đòi hỏi quản trị dữ liệu và kiến trúc vượt trội, cộng tác và quy trình chức năng chéo tinh vi, và tính minh bạch và khả năng kiểm toán đầy đủ.

Điều gì là thiếu sót cụ thể mà các doanh nghiệp gặp phải với các mô hình được đào tạo trước chung chung, đặc biệt là trong các lĩnh vực có quy định nghiêm ngặt như tài chính hoặc chăm sóc sức khỏe? 

Các mô hình được đào tạo trước chung chung không được thiết kế cho các môi trường có quy định cao, như tài chính, chăm sóc sức khỏe và bán lẻ. Các mô hình được đào tạo trước chung chung gặp phải các rào cản quan trọng, bao gồm nhu cầu về chuyên môn lĩnh vực thiết yếu để giải quyết các sắc thái cụ thể của ngành công nghiệp và đáp ứng các yêu cầu quy định và tuân thủ nghiêm ngặt khác nhau trên các khu vực địa lý. Điều quan trọng nhất là chúng không thể cung cấp độ chính xác và khả năng theo dõi mà các doanh nghiệp yêu cầu, nơi các lỗi có thể gây hại cho người tiêu dùng hoặc kích hoạt các vi phạm quy định. Cho dù đó là tuân thủ các quy định chống rửa tiền hay cho phép một cửa hàng tạp hóa nhanh chóng loại bỏ các mặt hàng bị召 hồi khỏi các trung tâm phân phối và kệ hàng, công nghệ AI dọc của SymphonyAI được xây dựng cụ thể cho các ngành công nghiệp chúng tôi hoạt động và được đào tạo trên các ontology của ngành công nghiệp đó, cho phép chúng đưa ra hoặc tự động hóa các quyết định tạo ra tác động kinh doanh trực tiếp.

Kết hợp các mô hình được đào tạo trước với logic lĩnh vực sâu sắc ngày càng được coi là chìa khóa để mở khóa ROI doanh nghiệp— những thành phần thiết yếu, chẳng hạn như kiến thức ngành, sự phù hợp KPI và rào cản quy định, làm cho phương pháp này hiệu quả? 

Kết hợp các mô hình được đào tạo trước với logic lĩnh vực sâu sắc mở khóa giá trị bằng cách tạo ra các hệ thống AI hiểu ngữ cảnh kinh doanh và yêu cầu hoạt động. Phương pháp này thành công khi các mô hình được tăng cường với các ontology cụ thể của ngành công nghiệp, được căn chỉnh với các KPI doanh nghiệp để đảm bảo rằng đầu ra phục vụ trực tiếp các mục tiêu kinh doanh có thể đo lường và được trang bị các rào cản quy định cung cấp các khuôn khổ tuân thủ và theo dõi cần thiết. Khi các yếu tố này hoạt động cùng nhau, AI chung chung biến thành các giải pháp kinh doanh quan trọng thúc đẩy kết quả có thể đo lường đồng thời duy trì tính tin cậy và tuân thủ mà các doanh nghiệp yêu cầu.

IBM gần đây đã mua lại Seek AI và ra mắt Watsonx Labs tại Thành phố New York, cho thấy một sự thay đổi chiến lược tiềm năng trong cảnh quan AI— điều này chỉ ra điều gì về tương lai của M&A và xu hướng đầu tư trong AI doanh nghiệp? 

Việc mua lại Seek AI của IBM và việc ra mắt Watsonx Labs là sự xác nhận của sự thay đổi cơ bản mà chúng tôi đã dự đoán: cảnh quan AI doanh nghiệp đã thay đổi, cho thấy rằng làn sóng M&A tiếp theo sẽ ưu tiên các công ty có mô hình AI dọc được đào tạo trước, đi kèm với chuyên môn sâu về ngành công nghiệp, quản trị và rào cản quy định, cũng như KPI định hướng kết quả. Các nhà mua lại chiến lược như IBM nhận ra rằng các tác nhân AI tập trung vào dữ liệu doanh nghiệp mang lại ROI ngay lập tức khi chúng hiểu các quy trình làm việc cụ thể của ngành công nghiệp. Thị trường đang hợp nhất xung quanh việc nhận ra rằng trí tuệ chung chung cần chuyên môn hóa dọc để thúc đẩy chuyển đổi doanh nghiệp.

Ở điểm nào thì một mô hình nền tảng tiến hóa thành một tác nhân cụ thể của lĩnh vực— những cột mốc kiến trúc nào báo hiệu sự chuyển đổi này? 

Một mô hình nền tảng không tự nhiên trưởng thành thành một tác nhân lĩnh vực; nó phải được thiết kế thành một. Không có con đường trực tiếp nào mà một mô hình chung chung đơn giản “trở nên thông minh hơn” và trở thành một điều tra viên ngân hàng. Sự chuyển đổi chỉ xảy ra khi các đội ngũ kỹ sư ngừng dựa vào trí thông minh thô của mô hình và bắt đầu xây dựng kiến trúc được quản lý xung quanh nó— cụ thể là tiêm một lớp ngữ cảnh (như một đồ thị kiến thức) và một lớp điều phối để buộc mô hình phải tuân theo một quy trình kinh doanh chứ không phải theo xu hướng xác suất của nó.

Điều gì là những thách thức cốt lõi trong việc xây dựng các quy trình tác nhân dọc vừa mạnh mẽ vừa cụ thể, và SymphonyAI giải quyết chúng như thế nào? 

Những thách thức cốt lõi trong việc xây dựng các quy trình tác nhân dọc mạnh mẽ và cụ thể cho lĩnh vực là duy trì tính tin cậy trên các quy trình đa bước phức tạp. SymphonyAI giải quyết những thách thức này thông qua kiến trúc nhiều lớp, nhúng chuyên môn lĩnh vực trực tiếp vào tác nhân, thực hiện xử lý lỗi với khả năng phục hồi sau sự cố và duy trì quản lý ngữ cảnh liên tục trên các quy trình doanh nghiệp đa phiên. Điều này cho phép các tác nhân của chúng tôi hoạt động tin cậy trong các môi trường có quy định cao, nơi tính bền vững có nghĩa là duy trì độ chính xác, tuân thủ và tính toàn vẹn hoạt động.

SymphonyAI nhấn mạnh vào các nền tảng dữ liệu mạnh mẽ, đồ thị kiến thức và lớp siêu dữ liệu— tại sao những khả năng này lại quan trọng đối với các tác nhân AI dọc, và tại sao nhiều doanh nghiệp gặp khó khăn trong việc triển khai chúng? 

Các nền tảng dữ liệu mạnh mẽ và đồ thị kiến thức là rất quan trọng đối với các tác nhân AI dọc để có nguồn thông tin có ý nghĩa, cung cấp các khuyến nghị được ngữ cảnh hóa và cập nhật với các thay đổi của thị trường, khách hàng và quy trình trên tất cả các cấp độ của doanh nghiệp. Hầu hết các doanh nghiệp gặp khó khăn trong việc triển khai những khả năng này vì chúng đòi hỏi đầu tư ban đầu đáng kể vào kiến trúc dữ liệu, chuyên môn ontology chuyên sâu và những thay đổi cơ bản đối với các thực hành dữ liệu hiện có mà nhiều tổ chức thấy khó khăn về mặt tổ chức và kỹ thuật. Đó là nơi một đối tác công nghệ AI có kinh nghiệm và kiến thức sâu về lĩnh vực đó trở nên vô giá, bao gồm cả khả năng đào tạo AI trước trên lượng lớn dữ liệu và nguồn của ngành công nghiệp đó trên nhiều khách hàng thực tế trong ngành đó.

Trong các kịch bản thế giới thực— chẳng hạn như phát hiện tội phạm tài chính hoặc dự báo bán lẻ— SymphonyAI kết hợp AI dự đoán, tạo ra và tác nhân như thế nào vào các “kỹ năng” gắn kết?

SymphonyAI kết hợp AI dự đoán, tạo ra và tác nhân vào các “kỹ năng” gắn kết bằng cách tạo ra các quy trình công việc tích hợp nơi mỗi sản phẩm AI phục vụ một vấn đề kinh doanh cụ thể. Trong phát hiện tội phạm tài chính, các mô hình dự đoán của chúng tôi xác định các mẫu giao dịch đáng ngờ, và AI tạo ra tạo ra các báo cáo điều tra chi tiết và đánh giá rủi ro. Đồng thời, AI tác nhân điều phối toàn bộ quy trình, tự động nâng cao các trường hợp, phối hợp với các đội tuân thủ và điều chỉnh các chiến lược điều tra dựa trên các phát hiện thời gian thực.

Chìa khóa là những điều này không phải là các công cụ AI riêng biệt, chúng là các khả năng tích hợp trong các tác nhân cụ thể của lĩnh vực hiểu ngữ cảnh kinh doanh, duy trì trạng thái quy trình và có thể chuyển đổi liền mạch giữa phân tích dự đoán, tạo nội dung và hành động tự chủ để mang lại kết quả kinh doanh hoàn chỉnh thay vì đầu ra AI rời rạc.

Bạn đã cảnh báo rằng nhiều tác nhân AI doanh nghiệp có thể vấp ngã mà không có độ bền— những đặc điểm chính của một tác nhân AI doanh nghiệp được thiết kế tốt, có khả năng chịu lỗi là gì? 

Các tác nhân AI doanh nghiệp được thiết kế tốt, có khả năng chịu lỗi đòi hỏi một số đặc điểm quan trọng. Mặc dù nhiều doanh nghiệp đang đầu tư nhanh chóng và triển khai các tác nhân AI để tăng cường hiệu quả, năng suất và đổi mới, nhưng họ thường đánh giá thấp nền tảng cần thiết cho thành công. Một số khía cạnh quan trọng mà các tác nhân được thiết kế tốt cần để thành công là:

• Các tác nhân AI doanh nghiệp hoạt động trên dữ liệu doanh nghiệp, thường bị phân mảnh và thiếu quyền truy cập, quyền và kiểm soát chương trình phù hợp. Các tác nhân cần được trang bị các điều khoản xác thực và ủy quyền giống như nhân viên.
• Các tác nhân cũng cần phục hồi từ tất cả các loại lỗi hệ thống doanh nghiệp, thời gian ngừng hoạt động của mạng và điểm cuối không ổn định. Lớp điều phối cần cho phép các quy trình công việc lâu dài, bền vững, có khả năng chịu lỗi, điều mà hầu hết các điều phối viên LLM phổ biến không làm được.
• Các LLM sẽ không xác định và thất bại trong các nhiệm vụ. Khôi phục sau sự cố, thử lại và khám phá đường dẫn tối ưu cần là các tính năng chính của các hệ thống tác nhân.

Đối với các CTO đang xem xét xây dựng các nền tảng AI dọc nội bộ so với việc hợp tác với các nhà cung cấp chuyên ngành, bạn sẽ đưa ra lời khuyên gì? 

Xây dựng các giải pháp AI doanh nghiệp trên nhiều ngành công nghiệp, bao gồm bán lẻ/CPG, công nghiệp, dịch vụ tài chính và hơn thế nữa, đòi hỏi phải nắm vững cả công nghệ AI tiên tiến và chuyên môn lĩnh vực sâu sắc đồng thời để đạt được giá trị thực sự từ các giải pháp AI doanh nghiệp. Nền tảng AI Eureka của chúng tôi thể hiện cách các nguồn dữ liệu dọc cụ thể, đồ thị kiến thức, mô hình dự đoán và tác nhân phải được tùy chỉnh cho từng ngành công nghiệp, nhưng điều này đại diện cho nhiều năm đầu tư nghiên cứu và lặp lại khách hàng mà hầu hết các đội ngũ nội bộ đều thiếu. Đối với các doanh nghiệp và CTO đang muốn đầu tư vào AI, tôi khuyên họ nên chọn các giải pháp mang lại kết quả thực sự từ ngày đầu tiên. Các giải pháp AI dọc cung cấp những kết quả đó, mang lại cho người dùng dữ liệu mà họ có thể sử dụng để tạo ra giá trị kinh doanh.

Nhìn về phía trước, bạn hình dung các kiến trúc AI doanh nghiệp sẽ như thế nào— liệu các tác nhân dọc liên bang được xây dựng trên các mô hình nền tảng chung sẽ trở thành tiêu chuẩn?

Chúng tôi sẽ không chỉ thấy ‘các tác nhân liên bang’; chúng tôi sẽ thấy các kiến trúc tác nhân được quản lý. Trong khi các mô hình nền tảng chung cung cấp động cơ suy luận, chúng về cơ bản là hàng hóa. ‘Tiêu chuẩn’ cho các doanh nghiệp thành công sẽ là triển khai các tác nhân dọc chuyên môn hóa, không chỉ ‘nói chuyện’ với nhau, mà còn được điều phối nghiêm ngặt thông qua một lớp ngữ cảnh chung. Nếu bạn chỉ có ‘các tác nhân liên bang’ được xây dựng trên các mô hình nền tảng, bạn sẽ nhận được một hệ thống ồn ào, dễ bị ảo giác— điều chúng tôi gọi là ‘đường ống rò rỉ’ của AI doanh nghiệp. Để làm cho kiến trúc này mở rộng quy mô trong sản xuất, bạn cần ba lớp cụ thể vượt ra ngoài sự liên bang đơn giản:

• Ngữ cảnh (Đồ thị kiến thức lĩnh vực): Các tác nhân cần chia sẻ một nguồn thông tin duy nhất, không chỉ trao đổi xác suất.
• Điều phối: Bạn cần một ‘kiến trúc sư trưởng’ quyết định khi nào sử dụng một tác nhân chuyên môn hóa và khi nào giữ một người trong vòng lặp.
• Quản trị: Đầu ra phải được đảm bảo an toàn về mặt pháp lý và hoạt động trước khi rời khỏi hệ thống.

Cảm ơn vì cuộc phỏng vấn tuyệt vời, những người đọc muốn tìm hiểu thêm nên truy cập SymphonyAI.