Navrina Singh, CEO và Người sáng lập của Credo AI – Loạt phỏng vấn

Navrina Singh là CEO và Người sáng lập của Credo AI, một công ty thiết kế nền tảng quản lý AI toàn diện đầu tiên cho phép các công ty và cá nhân hiểu và cung cấp AI đáng tin cậy và đạo đức, vượt qua các quy định và chính sách mới và tạo ra hồ sơ AI có thể kiểm toán và minh bạch trong toàn tổ chức. Công ty đã hoạt động trong bí mật và xây dựng danh mục khách hàng ấn tượng bao gồm một trong những nhà thầu chính phủ và công ty dịch vụ tài chính lớn nhất thế giới, cùng với các thương hiệu Fortune 100 khác.

Bạn lớn lên ở một thị trấn nhỏ ở Ấn Độ với khởi đầu khiêm tốn, làm thế nào bạn lại bị thu hút bởi kỹ thuật và lĩnh vực AI?

Tôi đến từ một gia đình trung lưu; bố tôi đã phục vụ trong quân đội trong bốn thập kỷ và mẹ tôi là một giáo viên chuyển sang thiết kế thời trang. Từ khi còn nhỏ, họ luôn khuyến khích sự tò mò, tình yêu khoa học và cung cấp cho tôi một không gian an toàn để khám phá những “giả sử”.

Khi tôi lớn lên ở Ấn Độ, phụ nữ không có nhiều cơ hội như đàn ông. Nhiều quyết định đã được đưa ra cho một cô gái, dựa trên những gì được chấp nhận bởi xã hội. Cách duy nhất để phá vỡ và có một cuộc sống tốt cho gia đình là thông qua giáo dục.

Sau khi tốt nghiệp trung học, tôi sở hữu máy tính đầu tiên của mình, đây là cửa sổ vào thế giới của tôi. Tôi thực sự quan tâm đến phần cứng và đã dành hàng giờ trực tuyến để học cách tháo rời bo mạch chủ, xây dựng ứng dụng robot, học cách mã hóa, làm lại điện trong nhà tôi (yikes!) và nhiều hơn nữa. Kỹ thuật trở thành không gian an toàn của tôi, nơi tôi có thể thử nghiệm, khám phá, xây dựng và trải nghiệm một thế giới mà tôi muốn trở thành một phần của nó thông qua các phát minh của mình. Tôi đã được truyền cảm hứng và phấn khích về cách công nghệ có thể trở thành một công cụ mạnh mẽ để tạo ra sự thay đổi, đặc biệt là cho phụ nữ.

Lớn lên, phương tiện của tôi bị giới hạn, nhưng khả năng không. Tôi luôn mơ ước đến Hoa Kỳ để xây dựng một nền tảng mạnh mẽ hơn trong công nghệ để giải quyết những thách thức lớn nhất đối mặt với nhân loại. Tôi nhập cư vào đây vào năm 2001, để tiếp tục hành trình kỹ thuật của mình tại Đại học Wisconsin Madison.

Trong suốt gần hai thập kỷ trong kỹ thuật, tôi đã có đặc quyền làm việc trên nhiều công nghệ tiên phong, từ di động đến thực tế ảo.

Vào năm 2011, tôi bắt đầu khám phá Trí tuệ nhân tạo để xây dựng các doanh nghiệp mới nổi tại Qualcomm (QCOM ). Tôi cũng đã dành thời gian xây dựng doanh nghiệp và ứng dụng trong AI trên giọng nói, tầm nhìn và NLP tại Microsoft (MSFT ) và Qualcomm, trong thập kỷ qua. Khi tôi học hỏi thêm về AI và học máy, nó trở nên rõ ràng rằng công nghệ tiên phong này sẽ làm gián đoạn cuộc sống của chúng ta vượt quá những gì chúng ta có thể tưởng tượng.

Xây dựng trí tuệ nhân tạo cấp độ doanh nghiệp cũng khiến tôi nhận ra rằng công nghệ có thể làm tổn hại đến con người và cộng đồng của chúng ta, nếu không được kiểm soát. Chúng ta, với tư cách là các nhà lãnh đạo, phải chịu trách nhiệm cực độ đối với các công nghệ mà chúng ta đang xây dựng. Chúng ta phải chủ động tối đa hóa lợi ích của nó cho nhân loại và giảm thiểu rủi ro của nó. Sau tất cả, “Những gì chúng ta tạo ra, tạo ra chúng ta” Vì vậy, xây dựng một cách có trách nhiệm là rất quan trọng, điều này đã truyền cảm hứng cho giai đoạn tiếp theo của sự nghiệp của tôi trong việc xây dựng quản lý AI.

Khi nào bạn bắt đầu nghiêm túc suy nghĩ về quản lý AI?

Khi tôi là người đứng đầu bộ phận đổi mới tại Qualcomm, chúng tôi đang khám phá những khả năng mà AI có thể mang lại cho các doanh nghiệp mới nổi của chúng tôi. Công việc ban đầu của chúng tôi tập trung vào các robot hợp tác được sử dụng trong chuỗi cung ứng. Đây là lần đầu tiên tôi tiếp xúc với “thực sự” rủi ro của AI, đặc biệt là liên quan đến an toàn vật lý của con người đang hoạt động cùng với các hệ thống robot này.

Trong thời gian này, chúng tôi đã dành rất nhiều thời gian với các công ty khởi nghiệp, như Soul Machines, để học hỏi các trường hợp sử dụng mới và tìm cách hợp tác với họ để tăng tốc công việc của chúng tôi. Soul Machines đã phát hành một phiên bản mới của hình đại diện em bé, “Baby X”. Xem hình đại diện này, được cung cấp bởi mạng nơ-ron, đang học hỏi từ thế giới xung quanh, khiến tôi dừng lại và suy ngẫm về những hậu quả không lường trước được của công nghệ này. Con gái của tôi, Ziya, được sinh ra vào khoảng thời gian đó, và chúng tôi đã đặt cho cô biệt danh “Baby Z” sau “Baby X” của Soul Machines. Tôi đã nói về điều này khá nhiều, bao gồm cả tại Diễn đàn Phụ nữ trong Sản phẩm năm 2019.

Các chuyến đi học của Baby X và Baby Z rất giống nhau! Khi Ziya lớn lên, chúng tôi đã cung cấp cho cô từ vựng ban đầu và các công cụ để học. Theo thời gian, cô bắt đầu hiểu thế giới và tự mình ghép các thứ lại với nhau. Baby X, hình đại diện mạng nơ-ron, cũng học hỏi thông qua các cảm biến tầm nhìn và nhận dạng giọng nói, và nhanh chóng xây dựng một hiểu biết sâu sắc về thế giới con người.

Các khoảnh khắc AI đầu tiên này đã làm rõ cho tôi rằng việc tìm cách quản lý rủi ro và đặt rào cản hiệu quả xung quanh công nghệ mạnh mẽ này để đảm bảo nó được triển khai vì lợi ích của con người là rất quan trọng.

Có thể chia sẻ câu chuyện về nguồn gốc của Credo AI?

Sau Qualcomm, tôi được tuyển dụng để lãnh đạo việc thương mại hóa các công nghệ AI tại Microsoft trong nhóm phát triển kinh doanh và, sau đó, trong nhóm sản phẩm. Trong thời gian của tôi, tôi đã có may mắn làm việc trên một loạt các công nghệ AI với các ứng dụng trong các trường hợp sử dụng từ Trí tuệ nhân tạo đối thoại đến trí tuệ hợp đồng, và từ kiểm tra trực quan đến khám phá sản phẩm dựa trên giọng nói.

Tuy nhiên, hạt giống quản lý AI được gieo tại Qualcomm tiếp tục phát triển khi tôi tiếp tục chứng kiến sự thiếu hụt giám sát ngày càng tăng trong việc phát triển các công nghệ Trí tuệ nhân tạo. Với tư cách là người lãnh đạo sản phẩm làm việc với nhóm khoa học dữ liệu và kỹ thuật, chúng tôi đã được khuyến khích xây dựng một ứng dụng AI hiệu suất cao được cung cấp bởi học máy và triển khai nó nhanh chóng trên thị trường.

Chúng tôi xem sự tuân thủ và quản lý như một kiểm tra cổng làm chậm tốc độ đổi mới. Tuy nhiên, lo ngại ngày càng tăng của tôi về thâm hụt quản lý giữa các chuyên gia kỹ thuật và giám sát trong rủi ro, tuân thủ, kiểm toán, đã thúc đẩy tôi tiếp tục khám phá những thách thức trong việc hiện thực hóa quản lý AI.

Tất cả các câu hỏi chưa được trả lời về quản lý AI đã thúc đẩy tôi tìm kiếm câu trả lời. Vì vậy, tôi bắt đầu đặt nền móng cho một tổ chức phi lợi nhuận có tên là MERAT (Thị trường cho các công cụ AI có trách nhiệm và đạo đức) với mục tiêu tạo ra một hệ sinh thái cho các công ty khởi nghiệp và Global 2000 tập trung vào phát triển AI có trách nhiệm.

Thông qua các thí nghiệm ban đầu tại MERAT, nó đã trở nên rõ ràng rằng không có công ty khởi nghiệp nào cho phép các công cụ đa bên liên quan để cung cấp quản lý toàn diện cho các ứng dụng AI và ML – cho đến khi Credo AI xuất hiện. Khoảng trống này là cơ hội của tôi để hiện thực hóa sứ mệnh của việc hướng dẫn AI một cách có chủ đích. Giả thuyết của tôi tiếp tục được xác nhận rằng tiền phong của cuộc cách mạng AI sẽ được hướng dẫn bởi quản lý. Các doanh nghiệp chấp nhận quản lý sẽ xuất hiện như những nhà lãnh đạo trong các thương hiệu đáng tin cậy.

Tôi được tiếp cận bởi Quỹ AI, một tổ chức ươm tạo do Andrew Ng, một chuyên gia AI nổi tiếng, thành lập. Quỹ AI đã tập trung vào các chủ đề quản lý và kiểm toán AI mà tôi đã tiêu thụ trong thập kỷ qua.

Credo AI được thành lập vào ngày 28 tháng 2 năm 2020, với vốn từ Quỹ AI.

Credo có nghĩa là “một tập hợp các giá trị hướng dẫn hành động của bạn.” Với Credo AI, tầm nhìn của chúng tôi là trao quyền cho các doanh nghiệp tạo ra AI với các tiêu chuẩn đạo đức cao nhất.

Trong một phỏng vấn trước, bạn đã thảo luận về cách các thương hiệu trong tương lai sẽ được tin cậy không chỉ dựa trên cách họ xây dựng và triển khai AI, mà còn dựa trên cách họ mở rộng AI để phục vụ nhân loại. Bạn có thể giải thích thêm về điều này?

Trí tuệ nhân tạo là một trong những công nghệ thay đổi cuộc chơi của thế kỷ này và cung cấp những cơ hội chuyển đổi cho nền kinh tế và xã hội. Nó đang trên đà đóng góp gần 16 nghìn tỷ đô la cho nền kinh tế toàn cầu vào năm 2030.

Tuy nhiên, những năm gần đây đã làm nổi bật các mối đe dọa lớn của AI (và không, nó không phải là những người chủ robot!) đã ở đây. Ví dụ, các thuật toán tư pháp tối ưu hóa cho tái phạm tối thiểu (tái phạm) có thể giới thiệu sự thiên vị và từ chối ân xá cho những người xứng đáng.

Các thuật toán xã hội tối ưu hóa cho sự tham gia có thể chia một quốc gia.

Các thuật toán không công bằng có thể là lý do bạn không được nhận việc hoặc được chấp nhận vào trường đại học.

Càng cho các công cụ của chúng ta tự chủ, thì càng có nhiều hậu quả không lường trước được. Tác động phi thường tạo ra tác động phi thường, nhưng không phải lúc nào cũng là tác động mà chúng ta muốn (Tôi viết về điều này trong Tuyên ngôn Credo AI).

Tôi dự đoán rằng các doanh nghiệp đầu tư vào quản lý AI để giúp họ xây dựng công nghệ một cách có trách nhiệm và cam kết sử dụng dữ liệu một cách đạo đức, sẽ có thể tạo ra niềm tin trên các bên liên quan – khách hàng, người tiêu dùng, nhà đầu tư, nhân viên và những người khác.

Credo AI giúp các công ty chịu trách nhiệm như thế nào?

Trách nhiệm có nghĩa là nghĩa vụ chấp nhận trách nhiệm cho hành động của mình. Trong bối cảnh phát triển và triển khai AI, điều này có nghĩa là các doanh nghiệp không chỉ phải có định hướng về “tốt trông như thế nào”, mà còn phải thực hiện các bước có chủ đích để chứng minh hành động trên những mục tiêu đã định hướng và chấp nhận trách nhiệm cho kết quả.

Credo AI nhằm mục đích trở thành người dẫn đường cho các doanh nghiệp trong các sáng kiến AI đạo đức và có trách nhiệm của họ để giữ họ chịu trách nhiệm trước các bên liên quan đa dạng: người dùng, nhân viên, nhà quản lý, kiểm toán viên, nhà đầu tư, giám đốc điều hành và những người khác. Do đó, Credo AI đã tiên phong trong việc cung cấp một giải pháp toàn diện, theo ngữ cảnh, liên tục và thực thời để cung cấp AI đạo đức và có trách nhiệm ở quy mô lớn.

Xây dựng trách nhiệm và niềm tin trong AI là một quá trình động. Các tổ chức phải có định hướng về các giá trị doanh nghiệp, mã hóa những giá trị đó, xây dựng chúng vào cơ sở hạ tầng tổ chức, quan sát tác động và lặp lại quá trình với các tiếng nói đa dạng cung cấp đầu vào tại mọi giai đoạn. Credo AI cho phép trách nhiệm này thông qua một giải pháp toàn diện và thực thời để quản lý tuân thủ và đo lường rủi ro cho các triển khai AI ở quy mô lớn.

Sử dụng giải pháp quản lý Credo AI, các doanh nghiệp có thể:

• Định hướng các yêu cầu quản lý cho các trường hợp sử dụng và mô hình AI của họ, với các gói chính sách tùy chỉnh và công cụ hỗ trợ quyết định để chọn các chỉ số đánh giá mô hình.
• Đánh giá và thẩm vấn dữ liệu và mô hình ML chống lại những mục tiêu đã định hướng
• Phân tích các thông số kỹ thuật thành tác động rủi ro có thể hành động cho doanh nghiệp tại mọi giai đoạn phát triển và triển khai mô hình, để bạn có thể bắt và sửa các vấn đề quản lý trước khi chúng trở thành các vấn đề lớn

Bằng cách ghi lại các quyết định và hành động tại mọi điểm, Credo AI ghi lại nguồn gốc của các quyết định đã đi vào việc tạo ra các mô hình như bằng chứng. Bằng chứng này sẽ là một hồ sơ được chia sẻ nội bộ với các bên liên quan của doanh nghiệp và bên ngoài với các kiểm toán viên để xây dựng niềm tin vào ý định của AI.

Bằng chứng này sẽ giúp các nhóm phát triển dự đoán và ngăn chặn các hậu quả không lường trước được và sẽ tiêu chuẩn hóa cách chúng ta đánh giá hiệu quả và độ tin cậy của các mô hình AI.

Chúng tôi đang ở những inning đầu tiên của việc cho phép quản lý AI thông qua các đánh giá và đảm bảo toàn diện và chúng tôi rất hào hứng được làm việc với nhiều doanh nghiệp hơn để thúc đẩy trách nhiệm.

Credo AI giúp các công ty chuyển đổi khỏi việc quản lý AI là một ý tưởng sau cùng như thế nào?

Trong thế giới ngày nay, có sự thiếu rõ ràng về những gì thực sự là “có trách nhiệm”, “đạo đức” và “đáng tin cậy” AI, và làm thế nào các doanh nghiệp có thể cung cấp những điều đó. Chúng tôi giúp tái định hình câu hỏi quan trọng này cho các doanh nghiệp, bằng cách sử dụng nền tảng SaaS Credo AI để chứng minh “kinh tế của đạo đức”.

Với Credo AI, các doanh nghiệp có thể không chỉ cung cấp AI công bằng, tuân thủ và có thể kiểm toán, mà còn xây dựng niềm tin với khách hàng.

Xây dựng niềm tin với khách hàng có thể mở rộng cơ sở khách hàng của một công ty và mở khóa nhiều doanh thu hơn. Ví dụ, các công ty có thể cung cấp trải nghiệm khách hàng tốt nhất có thể bằng cách sử dụng AI đạo đức trong các rô-bốt trò chuyện dịch vụ khách hàng của họ, hoặc sử dụng AI một cách có trách nhiệm để hiểu hoạt động của người dùng và đề xuất thêm nội dung hoặc sản phẩm cho họ. Những khách hàng rất hài lòng sau đó cung cấp quảng cáo tốt nhất bằng cách chia sẻ trải nghiệm của họ với bạn bè và gia đình.

Bên cạnh đó, doanh nghiệp cũng có thể thấy được cách hợp tác giữa các chức năng kỹ thuật và giám sát có thể giúp họ tiết kiệm chi phí do thời gian tuân thủ nhanh hơn, quản lý rủi ro thông tin, giảm thiểu rủi ro thương hiệu và rủi ro quản lý. Chúng tôi giúp các tổ chức triển khai AI đạo đức bằng cách xây dựng một cầu nối giữa các chỉ số kỹ thuật và kết quả kinh doanh cụ thể. Khi ngày càng nhiều người nhận ra, việc thúc đẩy AI đạo đức liên quan đến nhiều hơn là chỉ kiểm tra một hộp “tuân thủ quy định”. Nhưng nó có sức mạnh để mang lại thậm chí nhiều hơn là một đóng góp cho một thế giới công bằng hơn, điều đó sẽ là một kết quả đáng giá bằng chính nó.

Khi một công ty duy trì các tiêu chuẩn đạo đức cao, nó có thể mong đợi các kết quả kinh doanh thực tế, chẳng hạn như doanh thu tăng. Việc thay đổi quan điểm từ một khái niệm “mềm” trừu tượng sang một quyết định kinh doanh khách quan đã là một cách quan trọng để chúng tôi giúp định vị quản lý AI như một phần quan trọng của động cơ kinh tế và xã hội của công ty.

Gần đây, Chính quyền Biden đã tạo ra Ủy ban Cố vấn Quốc gia về Trí tuệ nhân tạo. Theo bạn, những ý nghĩa của điều này đối với các doanh nghiệp AI là gì?

Chính phủ trên toàn thế giới đang tiến hành quản lý AI, và các doanh nghiệp cần phải sẵn sàng. Việc tạo ra Ủy ban Cố vấn Quốc gia về AI của Chính quyền Biden và đầu tư vào Văn phòng Chính sách Khoa học và Công nghệ của Nhà Trắng là một bước đầu tiên tốt để đưa hành động vào các cuộc thảo luận xung quanh quyền của AI. Tuy nhiên, vẫn còn nhiều công việc cần phải được thực hiện để hiện thực hóa những gì AI có trách nhiệm sẽ có nghĩa là đối với quốc gia và nền kinh tế của chúng ta.

Tôi tin rằng năm 2022 sẽ là năm hành động cho AI có trách nhiệm. Đây là một lời gọi thức dậy cho các doanh nghiệp đang tìm cách thực hiện hoặc tăng cường khuôn khổ đạo đức AI của họ. Bây giờ là thời gian để các công ty đánh giá khuôn khổ hiện có của họ để tìm kiếm khoảng trống, hoặc đối với các công ty không có cách tiếp cận, để thực hiện một khuôn khổ vững chắc cho AI đáng tin cậy để thiết lập họ thành công để dẫn đầu trong kỷ nguyên AI.

Chúng ta nên mong đợi nhiều quy định cứng và mềm hơn sẽ xuất hiện. Ngoài các hành động của Nhà Trắng, có rất nhiều động lực đến từ các nhà hoạch định chính sách và cơ quan khác, chẳng hạn như Dự thảo Luật Trách nhiệm Giải thuật của Thượng viện, Hướng dẫn của Ủy ban Thương mại Liên bang (FTC) về thiên vị AI và nhiều hơn nữa.

Nếu chúng ta nhảy tới tương lai, quản lý AI và đạo đức AI sẽ quan trọng như thế nào trong năm năm?

Chúng tôi đang ở những inning đầu tiên của quản lý AI. Để nhấn mạnh tầm quan trọng của quản lý AI, dưới đây là một số dự đoán của tôi cho những năm tới:

• Quản lý AI đạo đức sẽ trở thành ưu tiên hàng đầu của tổ chức

Các doanh nghiệp tiếp tục đầu tư và gặt hái lợi ích của việc sử dụng AI trong kinh doanh của họ. IDC đã dự đoán một khoản chi 340 tỷ đô la cho AI vào năm 2022. Không có quản lý, các doanh nghiệp sẽ do dự khi đầu tư vào AI vì lo ngại về thiên vị, bảo mật, độ chính xác, tuân thủ của các hệ thống này.

Không có niềm tin, người tiêu dùng cũng sẽ do dự khi chấp nhận các sản phẩm dựa trên AI hoặc chia sẻ dữ liệu để xây dựng các hệ thống này. Trong những năm tới, quản lý AI đạo đức sẽ trở thành một ưu tiên của phòng họp và một chỉ số quan trọng mà các công ty sẽ phải tiết lộ và báo cáo để xây dựng niềm tin trên các bên liên quan của họ.

• Các danh mục công việc xã hội kỹ thuật mới sẽ xuất hiện trong một doanh nghiệp

Chúng tôi đã thấy các tổ chức tiên phong về đạo đức đầu tư đáng kể vào việc tương lai hóa phát triển của họ để đảm bảo AI công bằng, tuân thủ và có thể kiểm toán.

Để dẫn đầu trong AI, các doanh nghiệp sẽ cần phải đẩy nhanh việc học về cảnh quan quy định AI và triển khai các cấu trúc trách nhiệm ở quy mô lớn. Khi lĩnh vực triển khai AI đạo đức mới nổi đang phát triển, một danh mục công việc xã hội kỹ thuật mới có thể xuất hiện để thúc đẩy những cuộc trò chuyện này và chịu trách nhiệm trong lĩnh vực này. Thành phần mới này của lực lượng lao động có thể hoạt động như trung gian giữa các chức năng kỹ thuật và giám sát, giúp phát triển các tiêu chuẩn và mục tiêu chung.

• Các trải nghiệm AI mới sẽ đòi hỏi quản lý nghiêm ngặt hơn

Quản lý các hậu quả dự kiến và không dự kiến của trí tuệ nhân tạo là rất quan trọng, đặc biệt là khi chúng ta bước vào Metaverse và thế giới web3. Các rủi ro của AI tồn tại trong thế giới thực và thế giới ảo, nhưng được khuếch đại hơn trong thế giới ảo.

Bằng cách lao vào Metaverse mà không có sự giám sát AI, các doanh nghiệp đang đặt khách hàng của họ vào rủi ro về những thách thức như đánh cắp danh tính và gian lận. Điều quan trọng là các vấn đề quản lý AI phải được giải quyết trong thế giới thực ngay bây giờ để giữ cho người tiêu dùng an toàn trong Metaverse.

• Các hệ sinh thái mới trong quản lý AI đạo đức sẽ xuất hiện

Thế giới đã thức dậy với ý tưởng rằng quản lý AI đại diện cho khối xây dựng cơ bản để vận hành AI có trách nhiệm. Trong những năm tới, chúng ta sẽ thấy một thị trường cạnh tranh và năng động của các nhà cung cấp dịch vụ xuất hiện để cung cấp các công cụ, dịch vụ, giáo dục và các khả năng khác để hỗ trợ nhu cầu lớn này.

Bên cạnh đó, chúng ta cũng sẽ thấy sự hợp nhất và tăng cường các nền tảng MLops và GRC hiện có, để mang lại khả năng quản lý và đánh giá cho AI.

Có điều gì khác mà bạn muốn chia sẻ về Credo AI?

Quản lý AI đạo đức là một khoản đầu tư được bảo vệ trong tương lai mà bạn không thể không đầu tư, và ngày hôm nay là ngày tốt nhất để bắt đầu.

Cảm ơn bạn vì cuộc phỏng vấn chi tiết và vì đã chia sẻ tất cả những hiểu biết của bạn về quản lý AI và đạo đức, những người đọc muốn tìm hiểu thêm nên truy cập Credo AI.