Victor Thu, Tổng thống của Datatron – Loạt phỏng vấn

Victor Thu là Tổng thống của Datatron, một nền tảng giúp các doanh nghiệp tận dụng sức mạnh của học máy, bằng cách tăng tốc triển khai, phát hiện vấn đề sớm và tăng hiệu quả quản lý nhiều mô hình tại quy mô.

Nền tảng của bạn là Tiếp thị sản phẩm, Go-to-market, & Quản lý sản phẩm, làm thế nào nền tảng này dẫn bạn đến làm việc trong học máy và AI?

Tôi yêu công nghệ và một số người bạn thân của tôi thậm chí còn gọi tôi là “người thổi hồn công nghệ.” Tôi thích lấy các chủ đề công nghệ phức tạp và dịch chúng thành ngôn ngữ mà mọi người có thể liên quan, và giáo dục bản thân về các công nghệ mới để hiểu “tại sao” đằng sau các công nghệ quan trọng nhất với mọi người.

Trải nghiệm đầu tiên của tôi với những gì tôi gọi là “AI hiện đại” là khi tôi đang xem một bài trình bày khóa học của một giáo sư AI nổi tiếng của Stanford, Tiến sĩ Fei-Fei Li. Bài trình bày khóa học của Tiến sĩ Li rất hấp dẫn và nó đã trở thành một bước ngoặt trong sự nghiệp của tôi. Bài trình bày đó đã thuyết phục tôi rằng đây là nơi tôi muốn đến tiếp theo. Tôi muốn trở thành một phần của làn sóng công nghệ tiếp theo, nơi chúng ta sử dụng AI và ML để giải quyết các thách thức kinh doanh.

Kể từ đó, tôi đã làm việc với một số công ty khởi nghiệp AI/ML, nhằm sử dụng công nghệ để giải quyết các nhu cầu kinh doanh thực tế. Tôi đã làm việc rất chặt chẽ với các nhà khoa học ML cấp tiến sĩ, những người đã cung cấp cho tôi kiến thức tuyệt vời về AI/ML. Và tôi vẫn đang học hỏi ngày hôm nay vì không gian này đang phát triển rất nhanh.

Vậy, thực sự là niềm đam mê công nghệ và cách tận dụng nó để giúp đỡ người khác đã đưa tôi đến làm việc chặt chẽ với AI/ML.

Datatron tập trung vào MLOps, đối với những người đọc không quen thuộc với thuật ngữ này, bạn có thể mô tả cụ thể nó là gì?

MLOps cơ bản là mã hóa và đơn giản hóa quá trình thủ công cao của việc đưa mô hình AI và ML từ nguyên mẫu đến sản xuất.

Một trong những quan niệm sai lầm lớn nhất là một khi các nhà khoa học dữ liệu đã xây dựng mô hình AI của họ, họ có thể đưa chúng vào sản xuất nhanh chóng. Tuy nhiên, thực tế là nó có thể mất đến một năm trước khi một mô hình có thể được triển khai.

Lý do chính cho sự chậm trễ này là những người có chuyên môn về phát triển mô hình không nhất thiết phải có chuyên môn về kỹ thuật phần mềm. Một so sánh tốt là các kiến trúc sư thiết kế tòa nhà chọc trời – họ không phải là những người xây dựng chúng.

MLOps cơ bản là cầu nối giữa các nhà phát triển mô hình và kỹ thuật phần mềm. Thay vì phải mất hơn 12 tháng để đưa mô hình vào sản xuất, MLOps có thể cắt giảm quá trình dài này xuống chỉ còn vài ngày.

Trong một bài viết mà bạn đã viết cho chúng tôi vào tháng 9 năm 2021, bạn đã thảo luận về cách “Rào cản chính của việc đưa giải pháp vào sản xuất không phải là chất lượng của mô hình, mà là thiếu cơ sở hạ tầng để cho phép các công ty làm như vậy.” Tại sao đây lại là một rào cản đối với hầu hết các công ty?

Có một số yếu tố đóng góp vào điều này.

• Sự lãng mạn hóa quá mức về phần mềm mã nguồn mở “miễn phí”. Tôi muốn nhấn mạnh trước rằng chúng tôi yêu thích phần mềm mã nguồn mở và tin rằng nó đã giúp ngành công nghiệp tiến bộ với những bước nhảy vĩ đại. Tuy nhiên, nhiều người không hiểu được sự phức tạp của mã nguồn mở liên quan đến AI và ML. Ngày nay, có sự khan hiếm nghiêm trọng về tài năng AI/ML. Khi bạn kết hợp điều đó với việc tìm kiếm các kỹ sư phần mềm (kỹ sư ML hoặc kỹ sư MLOps) biết cách xử lý các thuộc tính duy nhất của mã AI/ML, để rồi mong đợi xây dựng một nền tảng MLOps doanh nghiệp quy mô lớn nội bộ bằng cách tìm hiểu 300+ dự án MLOps mã nguồn mở là tự đặt mình vào thất bại.
• Thiếu cơ sở hạ tầng để hỗ trợ các đội kỹ sư.Các công ty cần một môi trường tốt hơn để thiết lập cho các kỹ sư thành công. Cần có băng thông và ngân sách phù hợp để cung cấp cho các đội những công cụ chính xác. AI là một công nghệ khá mới. Các doanh nghiệp đang làm AI không luôn biết họ cần làm gì để đưa mô hình vào sản xuất nhanh chóng, đó là lý do tại sao MLOps lại là một công cụ quan trọng như vậy.

Làm thế nào sử dụng MLOps giải quyết vấn đề thiếu cơ sở hạ tầng?

MLOps giải quyết vấn đề thiếu cơ sở hạ tầng theo bốn cách:

1. Không cần thay đổi mã độc quyền: Các nhà khoa học dữ liệu muốn có sự linh hoạt để xây dựng mô hình phù hợp với các trường hợp sử dụng kinh doanh trong môi trường của họ, do đó, bất kỳ quy trình MLOps nào yêu cầu thay đổi mã sẽ làm phức tạp tính toàn vẹn của mô hình của họ.
2. Tự động hóa/tự động hóa: Nhiều đội đang tự động hóa mô hình theo cách cố định, điều này mất rất nhiều thời gian. MLOps tự động hóa toàn bộ quá trình, tiết kiệm rất nhiều thời gian và năng lượng.
3. Đơn giản hóa cập nhật: Các mô hình AI thay đổi thường xuyên để thích nghi với môi trường của chúng. Đôi khi, các nhà khoa học dữ liệu phải quay lại cập nhật mô hình thường xuyên. Không có MLOps, không có cách nào để tránh việc cập nhật lặp đi lặp lại này.
4. Quản lý cơ sở hạ tầng cơ bản: Để đưa mô hình vào sản xuất, bạn cần tính toán mạng và lưu trữ, điều này yêu cầu các thuộc tính duy nhất của mô hình AI/ML. Các công cụ MLOps có khả năng tận dụng các tài nguyên chính xác để mở rộng quy mô của chúng.

Có những yêu cầu doanh nghiệp thường không được xem xét khi xây dựng công cụ MLOps của riêng bạn, chẳng hạn như: kiểm soát truy cập dựa trên vai trò (RBAC), tích hợp và khả năng tương tác, hỗ trợ cho các công cụ ML khác nhau, giải quyết các lỗ hổng bảo mật và sự rời đi đột ngột của các thành viên cốt lõi trong nhóm.

Quan điểm cá nhân của bạn về tầm quan trọng của quản trị AI là gì?

Đã có rất nhiều câu chuyện kinh dị về các mô hình AI không hoạt động đúng, từ việc gán nhãn sai cho một số nhóm người đến gây ra tổn thất tài chính lớn cho các công ty niêm yết công khai.

Quản trị AI cực kỳ quan trọng đối với các doanh nghiệp khi họ có mô hình AI đang chạy trong sản xuất. Với điều đó được nói, nó không khác gì quản trị CNTT hoặc quản trị kinh doanh khác. Ngày nay, khi IT của bạn chạy các ứng dụng trong đám mây hoặc thậm chí trong trung tâm dữ liệu của riêng họ, họ có một loạt các công cụ để đảm bảo rằng các ứng dụng đang hoạt động đúng.

Khi bạn đã có mô hình AI đang chạy, bạn cần có các cơ chế và công cụ để giúp doanh nghiệp và các nhà khoa học dữ liệu có cái nhìn rõ ràng về những gì mô hình đang làm.

Đặc biệt là trong giai đoạn sơ khai này của AI/ML, không có tùy chọn “cài đặt và quên”. Ban đầu, bạn cần theo dõi cách mô hình của mình hoạt động và thực hiện các điều chỉnh phù hợp. Có khả năng giám sát phù hợp để cảnh báo bạn khi mô hình của bạn hoạt động ngoài các ranh giới mong muốn là rất quan trọng.

Quản lý rủi ro mô hình (MRM) cũng cần tính đến các cá nhân khác nhau tham gia vào việc phát triển và triển khai mô hình. Bạn đã thiết lập kiểm soát truy cập nào để đảm bảo tính toàn vẹn của mô hình? Hay làm thế nào bạn đảm bảo rằng các cá nhân từ các nhóm khác nhau không vô tình sử dụng mô hình của bạn cho các trường hợp sử dụng mà mô hình của bạn không được thiết kế để thực hiện? Tất cả những câu hỏi mà các đội cần tự hỏi mình.

Datatron giúp quản lý rủi ro mô hình như thế nào?

MLOps cho phép cập nhật và thay đổi mô hình nhanh chóng. Ví dụ, nếu một mô hình đang từ chối sai người trên một ứng dụng vay, MLOps cho phép bạn kéo mô hình trở lại và giới thiệu một mô hình mới, quản lý rủi ro đó một cách đơn giản.

Nó bảo vệ mô hình khỏi sự thay đổi thiên vị và duy trì các chỉ số chính trong khi sản xuất thông qua một bảng điều khiển đơn giản trình bày các chỉ số này bằng cách sử dụng dữ liệu chi tiết sâu từ tổng quan cấp cao có thể được hiểu dễ dàng bởi những người ra quyết định kinh doanh.

Nền tảng Datatron cung cấp quản trị AI một mức độ cao hơn so với khả năng giám sát chung – cung cấp thêm ngữ cảnh và logic hiển thị khả năng hiển thị rõ ràng của mô hình phù hợp hơn với các trường hợp sử dụng của khách hàng.

Trong một bài đăng trên blog trên Datatron, bạn đã mô tả cách Datatron đang tiếp nhận phương châm Reliable AI ™. Bạn có thể mô tả theo quan điểm của mình, nó là gì?

Khi chúng tôi nghĩ ra điều này, chúng tôi đã nghĩ về cách chúng tôi rất thoải mái khi bay trên các chuyến bay thương mại ngày nay vì chúng rất đáng tin cậy.

Mặc dù tất cả những cuộc trò chuyện về AI đạo đức, AI có trách nhiệm, v.v., nhu cầu chính là các doanh nghiệp phải có thể sử dụng AI/ML một cách đáng tin cậy – giống như nếu nhân viên của họ đang nhảy lên một chuyến bay thương mại.

Sử dụng các thuật ngữ như AI đạo đức, AI có trách nhiệm đã thực sự bắt nguồn từ vấn đề hiện tại của các mô hình AI không hoạt động như mong đợi và do đó được coi là không đáng tin cậy. Các doanh nghiệp không sẵn sàng sử dụng AI vì họ không có niềm tin rằng mô hình của họ không bị thiên vị. Điều này có nghĩa là mô hình của họ không đáng tin cậy và Datatron đang nỗ lực thay đổi điều đó.

Có điều gì khác mà bạn muốn chia sẻ về Datatron?

Chúng tôi là một trong số ít những người chơi MLOps đã được chứng minh là Super Bowl – làm việc thành công trong một kịch bản căng thẳng cao, điều này không điển hình cho một công ty khởi nghiệp hoặc công cụ mã nguồn mở. Khách hàng, Domino’s Pizza , làm việc với Datatron để dễ dàng và nhanh chóng triển khai mô hình AI vào sản xuất, sau đó được đưa vào thử nghiệm tối thượng trong Super Bowl.

MLOps thực sự là cách để giúp mô hình AI/ML vào sản xuất trong khi vẫn giữ nguyên tài nguyên và giảm chi phí. Chúng tôi là một nguồn bền vững cho các mô hình AI/ML thành công và đóng vai trò là chất xúc tác cho doanh thu. Các công ty cuối cùng có thể nhận được ROI từ các dự án AI và ML của họ. Bất kể biên độ của bạn, bạn có thể tạo ra kết quả bằng cách sử dụng MLOps.

Cảm ơn cuộc phỏng vấn tuyệt vời, những người đọc muốn tìm hiểu thêm nên truy cập Datatron.