Efrain Ruh, CTO của EMEA tại Digitate – Phỏng vấn Serie

Efrain Ruh là Giám đốc Công nghệ của EMEA tại Digitate, nơi ông lãnh đạo chiến lược công nghệ khu vực với trọng tâm mạnh mẽ vào trí tuệ nhân tạo doanh nghiệp, tự động hóa và chuyển đổi hoạt động quy mô lớn. Ông làm việc chặt chẽ với khách hàng trên khắp châu Âu, Trung Đông và châu Phi để giúp các tổ chức triển khai AI một cách có trách nhiệm, nhấn mạnh vào việc thực hiện thực tế, quản trị và kết quả đo lường được. Ruh là một người đóng góp thường xuyên cho các cuộc thảo luận trong ngành về trí tuệ nhân tạo có thể giải thích, trưởng thành MLOps và thực tế của việc chuyển từ các dự án AI sang hệ thống sản xuất.

Digitate là một công ty phần mềm doanh nghiệp và là một công ty con của Tata Consultancy Services (TCS.BO ) chuyên về tự động hóa AI cho IT và hoạt động kinh doanh. Nền tảng cốt lõi của công ty, ignio, cho phép hoạt động tự động bằng cách kết hợp học máy, đồ thị kiến thức và tự động hóa thông minh để phát hiện vấn đề, dự đoán kết quả và tự sửa chữa hệ thống trên môi trường doanh nghiệp phức tạp. Digitate phục vụ các tổ chức toàn cầu lớn nhằm giảm phức tạp hoạt động trong khi cải thiện khả năng phục hồi và hiệu quả thông qua AI ứng dụng.

Với vai trò lãnh đạo kỹ thuật rộng rãi tại Digitate và kinh nghiệm thực tế trước đây trên các hoạt động IT, kiến trúc và hệ thống doanh nghiệp, quan điểm của bạn về tầm quan trọng của trí tuệ nhân tạo có thể giải thích đã thay đổi như thế nào so với các mô hình tự động hóa hộp đen mà nhiều tổ chức vẫn phụ thuộc vào ngày nay?

Các thế hệ tự động hóa trước đây chủ yếu là phản ứng và dựa trên quy tắc, điều này làm cho hành vi hộp đen trở nên dễ chấp nhận hơn vì kết quả rất có thể đoán trước. Khi các hệ thống AI hiện nay chuyển sang các tác nhân chủ động có thể suy nghĩ và tạo ra phản hồi của riêng chúng, sự khoan dung đối với sự không minh bạch biến mất. Các nhà lãnh đạo IT phải chịu trách nhiệm duy trì các hệ thống quan trọng luôn sẵn sàng 24/7, và trách nhiệm đó không để lại nhiều không gian cho việc thử nghiệm với các hệ thống mà logic của chúng không thể được xác thực. Khả năng giải thích do đó đã chuyển từ một tính năng kỹ thuật sang một yêu cầu hoạt động cho phép tin cậy ở quy mô lớn. Để tin cậy những tác nhân AI mới này, điều quan trọng là họ phải chia sẻ dòng suy nghĩ của mình (cơ bản là cách họ đến với giải pháp) và kết quả suy luận của họ.

Tại sao sự tin cậy và khả năng giải thích đang nổi lên như những rào cản lớn nhất đối với việc áp dụng rộng rãi hơn các tự động hóa AI tiên tiến trong IT doanh nghiệp?

IT doanh nghiệp hoạt động dưới sự kiểm soát và rủi ro liên tục. Khi các hệ thống AI đưa ra quyết định tự động, đặc biệt là trong các mô hình hoạt động phòng ngừa hoặc tự sửa chữa, các đội giám sát phải có thể hiểu tại sao một hành động cụ thể đã được thực hiện. Không có khả năng nhìn thấy bằng chứng, ngữ cảnh và logic quyết định, AI giới thiệu sự không chắc chắn thay vì giảm nó. Sự thiếu minh bạch và không chắc chắn đó ảnh hưởng đến sự tin cậy, do đó, làm chậm việc áp dụng trong các đội IT nhiều hơn là độ chính xác của mô hình hoặc hiệu suất có thể.

Khả năng giải thích thực sự trông như thế nào trong hoạt động IT được thúc đẩy bởi AI, và nó có thể giúp các đội xác thực quyết định trước khi hệ thống hoạt động tự động như thế nào?

Khả năng giải thích thực sự là thực tế và tập trung vào người vận hành. Điều này có nghĩa là nó yêu cầu công nghệ phải rõ ràng hiển thị dữ liệu được sử dụng cho suy luận, xác thực rằng hệ thống hiểu đúng ngữ cảnh hoạt động và giải thích hành động được đề xuất bằng ngôn ngữ dễ hiểu. Nó cũng bao gồm việc xác thực lịch sử, chẳng hạn như liệu các quyết định tương tự đã được thực hiện trước đó và kết quả của chúng là gì. Điều này cho phép các đội xác thực hành động nhanh chóng và mở rộng thực hiện tự động một cách tự tin khi rủi ro thấp. Nếu mọi người không thể nhanh chóng tiêu hóa và hành động dựa trên kết quả của nó, thì công cụ giải thích thất bại trong việc phục vụ mục đích của nó.

Làm thế nào mà sự thiếu khả năng giải thích có thể chuyển thành rủi ro hoạt động, tài chính hoặc kinh doanh thực sự cho các tổ chức lớn?

Nếu bạn điều hành một nhà máy và một phần thiết bị quan trọng thiếu cảnh báo để đánh dấu vấn đề bảo trì, nó sẽ bắt đầu bị hỏng hóc mà không cảnh báo nhóm – dẫn đến sản phẩm chất lượng kém hoặc thời gian ngừng hoạt động không dự kiến. Tương tự, AI không có khả năng giải thích có thể biến các vấn đề dữ liệu nhỏ thành các sự cố kinh doanh lớn. Một hệ thống dự báo công suất dựa trên AI hoạt động trên dữ liệu không đầy đủ có thể giảm công suất cơ sở hạ tầng để tiết kiệm chi phí, chỉ để gây ra suy giảm hiệu suất nghiêm trọng trong thời gian xử lý đỉnh. Trong trường hợp của các hệ thống AI doanh nghiệp, bạn thường thấy tác động của khả năng giải thích kém thông qua việc bỏ lỡ các SLA, phạt tài chính và ảnh hưởng đến khách hàng. Tương tự, việc giảm cảnh báo mạnh mẽ có thể che giấu các sự cố quan trọng, cho phép thời gian ngừng hoạt động không được phát hiện cho đến khi nó trở thành một tình huống khẩn cấp thực sự.

Từ quan điểm của bạn, vai trò của các nền tảng AI trong việc làm cho suy luận của chúng có thể được kiểm tra và hiểu được cho các đội IT hoạt động hệ thống quan trọng là gì?

Một tác nhân AI hoặc nền tảng được thiết kế tốt có khả năng giải thích được tích hợp sẵn. Các hệ thống tự động nên ghi lại dữ liệu được sử dụng, logic được áp dụng, hành động được đề xuất hoặc thực hiện và kết quả theo sau. Thông tin này cần được trình bày bằng ngôn ngữ hoạt động mà các đội IT sử dụng, chẳng hạn như phụ thuộc, sự cố lịch sử và tác động kinh doanh, thay vì điểm số AI trừu tượng. Sự kiểm tra được là điều cần thiết cho trách nhiệm, học hỏi và niềm tin lâu dài.

Các phương pháp thiết kế hoặc kiến trúc nào đang giúp các doanh nghiệp chuyển từ tự động hóa không minh bạch sang quyết định trong suốt hơn?

Các doanh nghiệp đang áp dụng các kiến trúc dựa trên quyết định AI trong dữ liệu hoạt động chất lượng cao và rõ ràng tách biệt xác thực dữ liệu từ logic quyết định. Các hệ thống minh bạch đảm bảo AI hoạt động với các đầu vào và giả định chính xác trước khi hành động. Nhiều tổ chức cũng sử dụng tự chủ giai đoạn, bắt đầu với các khuyến nghị và tiến tới thực hiện tự chủ bị giới hạn khi sự tự tin tăng lên. Truy cập dữ liệu mở và các lớp chính sách rõ ràng là rất quan trọng để tránh hành vi hộp đen khi tự chủ tăng lên. Có nhiều không gian cho ngành công nghiệp phát triển các tính năng giải thích, và tôi nghĩ chúng ta sẽ thấy một sự bùng nổ về các tính năng giải thích trong năm nay

Làm thế nào các tổ chức có thể đạt được sự cân bằng giữa hành động AI tự động và giám sát của con người mà không làm chậm hoạt động?

Sự cân bằng được đạt được thông qua các kiểm soát dựa trên rủi ro chứ không phải giám sát chung. Các nhiệm vụ tần suất cao và rủi ro thấp có thể được tự động hóa từ đầu đến cuối với các rào cản, trong khi các quyết định có tác động cao hơn vẫn được xác thực bởi con người cho đến khi hệ thống chứng minh được độ tin cậy. Khi khả năng giải thích cải thiện và AI liên tục chứng minh phán quyếtsound, tự chủ mở rộng một cách tự nhiên mà không giới thiệu ma sát hoạt động.

Các lời khuyên bạn sẽ đưa ra cho các CIO và CTO muốn mở rộng AI trên các hoạt động IT nhưng gặp phải sự kháng cự nội bộ do lo ngại về khả năng hiển thị và trách nhiệm là gì?

Bắt đầu với minh bạch, không phải tự chủ. Liên quan đến các đội IT của bạn từ sớm và ưu tiên khả năng hiển thị trong cả thiết kế và triển khai để xây dựng niềm tin. Sự kháng cự thường bắt nguồn từ sự thiếu hiểu biết về quyết định AI, không phải từ sự phản đối đối với sự đổi mới bản thân. Sau đó, tập trung vào các trường hợp sử dụng giảm nhiễu, loại bỏ mệt mỏi cảnh báo và giải thích rõ ràng cách quyết định được đưa ra trước khi cho phép hệ thống hoạt động độc lập.

Làm thế nào các đội lãnh đạo nên suy nghĩ lại về quản trị, xác thực và mô hình tin cậy khi các hệ thống AI đảm nhận nhiều trách nhiệm ra quyết định hơn?

Quản trị phải chuyển từ các quy trình phê duyệt tĩnh sang xác thực liên tục. Các đội lãnh đạo cần xác định nơi tự chủ được phép, bằng chứng nào là cần thiết và khi nào can thiệp của con người là cần thiết. Niềm tin nên được kiếm được thông qua kết quả đo lường được như độ chính xác, giảm sự cố, và thời gian giải quyết nhanh hơn, thay vì giả định về sự tinh vi của mô hình.

Nhìn về tương lai, bạn thấy AI có thể giải thích và minh bạch sẽ định hình lại tương lai của hoạt động IT tự động như thế nào trong vài năm tới?

AI có thể giải thích sẽ là một phần cơ bản của việc xây dựng các hoạt động IT tự động và chủ động để mở rộng an toàn, mà không mất đi sự tin cậy quan trọng của đội IT. Trí tuệ nhân tạo tạo ra đã cải thiện tính minh bạch bằng cách cho phép các hệ thống đưa ra bằng chứng, xác thực事 thực và giải thích quyết định bằng ngôn ngữ dễ hiểu. Trong vài năm tới, mức độ minh bạch này sẽ trở thành tiêu chuẩn, cho phép các tổ chức chuyển từ thử nghiệm sang tích hợp AI sâu vào hoạt động, quản trị và quy trình làm việc như một đối tác đáng tin cậy thay vì một người ra quyết định không minh bạch. Trong vài năm tới, các tác nhân AI sẽ được đặt ở vị trí để quản lý các hoạt động khác nhau của một tổ chức, chúng sẽ trở thành một phần của cuộc sống hàng ngày của chúng ta, nhưng để làm được điều này, chúng ta cần có thể tin tưởng chúng và độ chính xác cũng như minh bạch là những khía cạnh quan trọng để đạt được mục tiêu này.

Cảm ơn vì cuộc phỏng vấn tuyệt vời, những người đọc muốn tìm hiểu thêm nên truy cập Digitate.