Phỏng vấn
Victor Thu, Tổng thống của Datatron – Loạt phỏng vấn
Victor Thu là Tổng thống của Datatron, một nền tảng giúp các doanh nghiệp tận dụng sức mạnh của học máy, bằng cách tăng tốc triển khai, phát hiện vấn đề sớm và tăng hiệu quả quản lý nhiều mô hình tại quy mô lớn.
Nền tảng của bạn là Tiếp thị sản phẩm, Go-to-market, & Quản lý sản phẩm, làm thế nào nền tảng này dẫn bạn đến làm việc trong học máy và Trí tuệ nhân tạo?
Tôi yêu công nghệ và một số người bạn thân của tôi thậm chí còn gọi tôi là “người nói chuyện công nghệ.” Tôi thích lấy các chủ đề công nghệ phức tạp và dịch chúng thành một ngôn ngữ mà mọi người có thể liên quan đến, và tự giáo dục mình về các công nghệ mới để hiểu “tại sao” đằng sau các công nghệ quan trọng nhất với mọi người.
Cuộc gặp gỡ đầu tiên của tôi với những gì tôi gọi là “Trí tuệ nhân tạo hiện đại” là khi tôi đang xem một bài trình bày chính của một giáo sư Trí tuệ nhân tạo nổi tiếng của Stanford, Dr. Fei-Fei Li. Bài trình bày chính của Dr Li đã thu hút tôi đến mức đó là một bước ngoặt trong sự nghiệp của tôi. Bài trình bày đó đã thuyết phục tôi rằng đây là nơi tôi muốn đến tiếp theo. Tôi muốn là một phần của làn sóng công nghệ tiếp theo nơi chúng ta sử dụng Trí tuệ nhân tạo và Học máy để giải quyết các thách thức kinh doanh.
Kể từ đó, tôi đã làm việc với một số công ty khởi nghiệp Trí tuệ nhân tạo/Học máy, nhằm sử dụng công nghệ để giải quyết các nhu cầu kinh doanh thực tế. Tôi đã làm việc rất chặt chẽ với các nhà khoa học Học máy cấp tiến sĩ, những người đã cung cấp cho tôi kiến thức tuyệt vời về Trí tuệ nhân tạo/Học máy. Và tôi vẫn đang học hỏi ngày nay vì không gian này đang phát triển rất nhanh.
Vì vậy, chính đam mê công nghệ và cách tận dụng nó để giúp đỡ người khác đã đưa tôi đến làm việc chặt chẽ với Trí tuệ nhân tạo/Học máy.
Datron tập trung vào MLOps, đối với những người đọc không quen thuộc với thuật ngữ này, bạn có thể mô tả cụ thể nó là gì?
MLOps cơ bản là mã hóa và đơn giản hóa quá trình thủ công cao của việc đưa mô hình Trí tuệ nhân tạo và Học máy từ nguyên mẫu đến sản xuất.
Một trong những hiểu lầm lớn nhất là khi các nhà khoa học dữ liệu đã xây dựng mô hình Trí tuệ nhân tạo của họ, họ có thể đưa chúng vào sản xuất nhanh chóng. Tuy nhiên, thực tế là nó có thể mất đến một năm trước khi một mô hình có thể được triển khai.
Lý do chính cho sự chậm trễ này là những người có chuyên môn về phát triển mô hình không nhất thiết phải có chuyên môn về kỹ thuật phần mềm. Một so sánh tốt là các kiến trúc sư thiết kế tòa nhà chọc trời – họ không phải là những nhà phát triển xây dựng chúng.
MLOps cơ bản là cầu nối giữa các nhà phát triển mô hình và kỹ thuật phần mềm. Thay vì phải mất hơn 12 tháng để đưa mô hình vào sản xuất, MLOps có thể cắt quá trình dài này xuống chỉ còn vài ngày.
Trong một bài viết mà bạn đã viết cho chúng tôi vào tháng 9 năm 2021, bạn đã thảo luận về cách “Rào cản chính của việc đưa giải pháp vào sản xuất không phải là chất lượng của mô hình, mà là thiếu cơ sở hạ tầng để cho phép các công ty làm như vậy.” Tại sao đây lại là một rào cản đối với hầu hết các công ty?
Có một số yếu tố đóng góp vào điều này.
- Sự lãng mạn hóa quá mức về phần mềm mã nguồn mở “miễn phí”. Tôi muốn nhấn mạnh đầu tiên rằng chúng tôi yêu thích phần mềm mã nguồn mở và tin rằng nó đã giúp ngành công nghiệp tiến bộ bằng bước nhảy vĩ đại. Tuy nhiên, nhiều người không hiểu được sự phức tạp của mã nguồn mở liên quan đến Trí tuệ nhân tạo và Học máy. Ngày nay, có sự khan hiếm nghiêm trọng về tài năng Trí tuệ nhân tạo/Học máy. Khi bạn kết hợp điều đó với việc tìm kiếm các kỹ sư phần mềm (kỹ sư Học máy hoặc kỹ sư MLOps) những người biết cách xử lý các thuộc tính độc đáo của mã Trí tuệ nhân tạo/Học máy, sau đó mong đợi tuyển dụng và xây dựng một nền tảng MLOps cấp doanh nghiệp nội bộ bằng cách tìm hiểu 300+ dự án MLOps mã nguồn mở là tự đặt mình vào thất bại.
- Thiếu cơ sở hạ tầng để hỗ trợ các đội kỹ sư.Các công ty cần một môi trường tốt hơn để thiết lập các kỹ sư thành công. Cần có băng thông và ngân sách phù hợp để cung cấp cho các đội các công cụ chính xác. Trí tuệ nhân tạo là một công nghệ khá mới. Các doanh nghiệp đang thực hiện Trí tuệ nhân tạo không luôn biết họ cần làm gì để đưa mô hình ra nhanh, đó là lý do tại sao MLOps là một công cụ quan trọng như vậy.
Làm thế nào sử dụng MLOps giải quyết vấn đề thiếu cơ sở hạ tầng?
MLOps giải quyết vấn đề thiếu cơ sở hạ tầng theo bốn cách:
- Không thay đổi mã độc quyền: Các nhà khoa học dữ liệu muốn có sự linh hoạt để xây dựng mô hình phù hợp với các trường hợp sử dụng kinh doanh trong môi trường của họ, do đó bất kỳ quy trình MLOps nào yêu cầu thay đổi mã sẽ làm phức tạp tính toàn vẹn của mô hình của họ.
- Tự động hóa/lập kịch bản: Nhiều đội đang lập kịch bản mô hình theo cách mã hóa cứng, điều này mất rất nhiều thời gian. MLOps tự động hóa toàn bộ quá trình, tiết kiệm rất nhiều thời gian và năng lượng.
- Đơn giản hóa cập nhật: Các mô hình Trí tuệ nhân tạo thay đổi thường xuyên để thích nghi với môi trường của chúng. Đôi khi các nhà khoa học dữ liệu phải quay lại cập nhật mô hình thường xuyên. Không có MLOps, không có cách nào để tránh việc cập nhật lặp đi lặp lại này.
- Quản lý cơ sở hạ tầng cơ bản: Để đưa mô hình vào sản xuất, bạn cần tính toán mạng và lưu trữ, điều này đòi hỏi các thuộc tính độc đáo của mô hình Trí tuệ nhân tạo/Học máy. Các công cụ MLOps có khả năng tận dụng các tài nguyên chính xác để mở rộng chúng theo cách phù hợp.
Cũng có các yêu cầu doanh nghiệp thường không được xem xét khi xây dựng công cụ MLOps của riêng bạn, chẳng hạn như: kiểm soát truy cập dựa trên vai trò (RBAC), tích hợp và khả năng tương tác, hỗ trợ cho các công cụ Học máy khác nhau, giải quyết các lỗ hổng bảo mật và sự ra đi đột ngột của các thành viên chính trong nhóm.
Quan điểm cá nhân của bạn về tầm quan trọng của quản trị Trí tuệ nhân tạo là gì?
Đã có vô số câu chuyện kinh dị về các mô hình Trí tuệ nhân tạo không hoạt động đúng, từ việc gắn nhãn sai cho một số nhóm người đến gây ra tổn thất tài chính lớn cho các công ty niêm yết công khai.
Quản trị Trí tuệ nhân tạo cực kỳ quan trọng đối với các doanh nghiệp khi họ có mô hình Trí tuệ nhân tạo đang chạy trong sản xuất. Với điều đó được nói, nó không khác gì quản trị CNTT hoặc quản trị kinh doanh. Ngày nay, khi ứng dụng CNTT của bạn chạy trong đám mây hoặc thậm chí trong trung tâm dữ liệu của riêng họ, họ có một loạt các công cụ để đảm bảo rằng các ứng dụng đang hoạt động đúng.
Một khi bạn đã có mô hình Trí tuệ nhân tạo đang chạy, bạn cần có các cơ chế và công cụ để giúp doanh nghiệp và các nhà khoa học dữ liệu có cái nhìn rõ ràng về những gì mô hình đang làm.
Đặc biệt是在 giai đoạn sơ khai này của Trí tuệ nhân tạo/Học máy, không có tùy chọn “cài đặt và quên”. Ở đầu, bạn cần theo dõi cách mô hình của mình hoạt động và thực hiện các điều chỉnh phù hợp.
Quản lý rủi ro mô hình (MRM) cũng cần tính đến các cá nhân khác nhau tham gia vào việc phát triển và triển khai mô hình. Bạn đã thiết lập kiểm soát truy cập nào để đảm bảo tính toàn vẹn của mô hình? Hoặc làm thế nào bạn đảm bảo rằng các cá nhân từ các nhóm khác nhau không vô tình sử dụng mô hình của bạn cho các trường hợp sử dụng mà mô hình của bạn không được thiết kế để thực hiện? Tất cả các câu hỏi mà các đội cần phải hỏi mình.
Datron giúp quản lý rủi ro mô hình như thế nào?
MLOps cho phép cập nhật và thay đổi mô hình nhanh chóng. Ví dụ, nếu một mô hình đang từ chối sai người trên một ứng dụng khoản vay, MLOps cho phép bạn kéo mô hình trở lại và giới thiệu một mô hình mới, quản lý rủi ro đó theo cách đơn giản.
Nó bảo vệ mô hình khỏi sự thay đổi thiên vị và duy trì các chỉ số chính trong khi sản xuất thông qua một bảng điều khiển đơn giản trình bày các chỉ số này bằng cách sử dụng dữ liệu chi tiết sâu từ tổng quan cấp cao có thể được hiểu dễ dàng bởi những người ra quyết định kinh doanh.
Nền tảng Datatron cung cấp quản trị Trí tuệ nhân tạo một cấp độ lên từ khả năng giám sát chung – cung cấp thêm ngữ cảnh và logic hiển thị khả năng hiển thị rõ ràng của mô hình phù hợp hơn với trường hợp sử dụng của khách hàng.
Trong một bài đăng trên blog trên Datatron, bạn đã mô tả cách Datatron đang thực hiện phương châm Trí tuệ nhân tạo Tin cậy ™. Bạn có thể mô tả theo quan điểm của mình, điều này là gì?
Khi chúng tôi nghĩ ra điều này, chúng tôi đã nghĩ về cách chúng tôi rất thoải mái khi bay trên các hãng hàng không thương mại ngày nay vì chúng rất đáng tin cậy.
Mặc dù tất cả những cuộc trò chuyện về Trí tuệ nhân tạo đạo đức, Trí tuệ nhân tạo có trách nhiệm, v.v., nhu cầu chính là các doanh nghiệp có thể sử dụng Trí tuệ nhân tạo/Học máy một cách đáng tin cậy – giống như nếu nhân viên của họ bước lên một chiếc máy bay thương mại.
Sử dụng các thuật ngữ như Trí tuệ nhân tạo đạo đức, Trí tuệ nhân tạo có trách nhiệm thực sự bắt nguồn từ vấn đề các mô hình Trí tuệ nhân tạo hiện tại không hoạt động như dự kiến, và do đó được coi là không đáng tin cậy. Các doanh nghiệp không sẵn sàng sử dụng Trí tuệ nhân tạo vì họ không có niềm tin rằng mô hình của họ không bị thiên vị. Điều này có nghĩa là mô hình của họ không đáng tin cậy và Datatron đang quyết tâm thay đổi điều đó.
Có điều gì khác mà bạn muốn chia sẻ về Datatron?
Chúng tôi là một trong số ít các công ty MLOps đã được chứng minh là thành công trong một kịch bản căng thẳng cao, điều này không điển hình cho một công ty khởi nghiệp hoặc công cụ mã nguồn mở. Khách hàng của chúng tôi, Domino’s Pizza, làm việc với Datatron để dễ dàng và nhanh chóng triển khai mô hình Trí tuệ nhân tạo vào sản xuất, sau đó được đưa vào thử nghiệm tối thượng trong Super Bowl.
MLOps thực sự là cách để giúp mô hình Trí tuệ nhân tạo/Học máy vào sản xuất trong khi bảo tồn tài nguyên và giảm chi phí. Chúng tôi là một nguồn bền vững cho các mô hình Trí tuệ nhân tạo/Học máy thành công và đóng vai trò là chất xúc tác cho doanh thu. Các công ty cuối cùng có thể nhận được ROI từ các dự án Trí tuệ nhân tạo và Học máy của họ. Bất kể biên độ của bạn, bạn có thể tạo ra kết quả bằng cách sử dụng MLOps.
Cảm ơn vì cuộc phỏng vấn tuyệt vời, những người đọc muốn tìm hiểu thêm nên truy cập Datatron.
