Lior Koriat, CEO của Quali – Loạt phỏng vấn

Lior Koriat, CEO của Quali, là một nhà điều hành công nghệ và doanh nhân có kinh nghiệm với gần hai thập kỷ tại Quali, nơi anh đã giúp định hình công ty từ những nền tảng kỹ thuật và vận hành ban đầu thành một nhà cung cấp giải pháp Môi trường như một Dịch vụ (Environment as a Service) đa đám mây cho các đội DevOps, IT và nền tảng. Kể từ khi trở thành CEO và Thành viên Hội đồng quản trị vào năm 2011, anh đã dẫn dắt sự mở rộng của Quali trên toàn cầu, bao gồm cả việc xây dựng các hoạt động tại Hoa Kỳ, Châu Âu, Châu Á và Israel, dựa trên các vai trò trước đây của mình như VP Nghiên cứu và Phát triển, COO và CEO, nơi anh đã thành lập các bộ phận kỹ thuật, bán hàng, hỗ trợ khách hàng, pháp lý, phát triển kinh doanh và hoạt động quốc tế. Kinh nghiệm của anh cũng bao gồm việc thành lập và lãnh đạo Intellitech Engineering, một công ty kỹ thuật hệ thống và cơ khí được mua lại, phục vụ khách hàng quốc phòng và dân sự, cũng như các vai trò cố vấn với Google Launchpad Accelerator và Trung tâm Doanh nghiệp và Công nghệ Sutardja của UC Berkeley, nơi anh tư vấn cho các công ty khởi nghiệp về chiến lược sản phẩm, thực hiện thị trường, DevOps và mở rộng quy mô.

Quali phát triển phần mềm tự động hóa cơ sở hạ tầng và kỹ thuật nền tảng được thiết kế để giúp các tổ chức cung cấp môi trường đám mây tự phục vụ được quản lý mà không làm chậm các đội phát triển. Nền tảng Torque của công ty cung cấp một lớp tự phục vụ dựa trên danh mục cho các đội nền tảng, cho phép các bản thiết kế được phê duyệt, kiểm soát truy cập dựa trên vai trò, quản lý vòng đời, phân bổ chi phí, thực thi chính sách và khả năng hiển thị thời gian thực trên các môi trường. Quali định vị Torque như một cách để tiêu chuẩn hóa việc phân phối cơ sở hạ tầng trên các thiết lập đa đám mây và hỗn hợp đám mây, với hỗ trợ cho các trường hợp sử dụng bao gồm phát triển phần mềm, thử nghiệm, demo, đào tạo, triển khai chứng minh khái niệm, MLOps, AI tự động, tự động hóa đường ống CI/CD và GPU như một Dịch vụ. Danh mục sản phẩm rộng hơn của công ty cũng bao gồm CloudShell, giúp biến cơ sở hạ tầng thành các khối xây dựng có thể tái sử dụng với mã thấp hoặc không cần mã cho các môi trường phức tạp trên cơ sở hạ tầng tại chỗ và đám mây.

Bạn đã thành lập và mở rộng nhiều công ty công nghệ trước khi lãnh đạo Quali, và sự nghiệp của bạn bao gồm các hệ thống quân sự, robot, kỹ thuật cơ sở hạ tầng và tự động hóa đám mây. Những kinh nghiệm này đã ảnh hưởng đến tầm nhìn của bạn về việc xây dựng các nền tảng cơ sở hạ tầng AI như thế nào, và điều gì đã thuyết phục bạn rằng đây là thời điểm đúng để tập trung vào quản lý cơ sở hạ tầng AI bản địa?

Sự nghiệp của tôi luôn tập trung vào các hệ thống phức tạp phải hoạt động đáng tin cậy trong các điều kiện đòi hỏi cao. Tôi bắt đầu trong lĩnh vực robot và hàng không vũ trụ, phát triển các hệ thống tự động hóa và mô phỏng cho các ứng dụng quốc phòng, nơi tính lặp lại và quản lý là các yêu cầu hoạt động chứ không phải là sở thích của kỹ thuật. Những môi trường đó đã dạy tôi rằng các vấn đề khó khăn nhất xuất hiện khi nhiều hệ thống và quy trình phải hoạt động cùng nhau một cách nhất quán theo thời gian.

Quan điểm đó đã được đưa vào Quali. Trong thập kỷ qua, cơ sở hạ tầng doanh nghiệp đã trở nên phân散 trên nhiều lớp khác nhau. Mỗi lớp mới giải quyết một vấn đề kỹ thuật cụ thể, nhưng nó cũng giới thiệu một giao diện quản lý mới, một quy trình hoạt động mới và một nguồn phức tạp mới. Các tổ chức đã trở nên rất giỏi trong việc tạo ra cơ sở hạ tầng, nhưng ít hiệu quả hơn trong việc quản lý nó một khi nó đã tồn tại.

AI đã tăng tốc sự mất cân bằng này, và các thách thức hoạt động ngày càng quyết định liệu một sáng kiến AI có đạt được sản xuất hay vẫn còn mắc kẹt trong giai đoạn thử nghiệm. Đó là lý do tại sao tôi tin rằng quản lý cơ sở hạ tầng AI bản địa đã trở nên cần thiết. Thách thức là vận hành cơ sở hạ tầng AI liên tục trên các môi trường khác nhau trong khi duy trì quản lý, bảo mật và kỷ luật chi phí đồng thời tối ưu hóa việc sử dụng.

AI chủ quyền đã trở thành một ưu tiên hàng đầu cho các chính phủ và doanh nghiệp. Điều gì mà hầu hết các tổ chức hiểu lầm về chủ quyền, và tại sao bạn tin rằng quản lý cơ sở hạ tầng đang trở thành vừa quan trọng như sở hữu mô hình?

Nhiều cuộc thảo luận về AI chủ quyền tập trung vào nơi cư trú của dữ liệu và sở hữu cơ sở hạ tầng. Những thành phần đó là cần thiết, nhưng chúng chỉ giải quyết một phần của thực tế hoạt động.

Khi các tổ chức bắt đầu triển khai các tác nhân tự động, câu hỏi chính chuyển từ nơi cơ sở hạ tầng cư trú sang cách các hệ thống AI hoạt động trong cơ sở hạ tầng đó. Các tác nhân hiện đại phân bổ tài nguyên, thu thập thông tin, khởi động quy trình và tương tác với các hệ thống sản xuất. Mỗi một trong những hành động đó đòi hỏi phải thực thi chính sách.

Điều đó thay đổi cách chủ quyền nên được đánh giá. Sở hữu cơ sở hạ tầng không tự động cung cấp kiểm soát hoạt động nếu các hệ thống AI có thể thực hiện hành động mà không có quản lý quyết định. Doanh nghiệp cần chứng minh ai đã khởi xướng một hành động, chính sách nào đã quản lý nó, tài nguyên nào được truy cập và làm thế nào những quyết định đó có thể được kiểm tra. Thách thức là vận hành cơ sở hạ tầng AI liên tục trên các môi trường khác nhau trong khi duy trì quản lý, bảo mật và kỷ luật chi phí đồng thời tối ưu hóa việc sử dụng.

Tôi dự đoán rằng quản lý cơ sở hạ tầng sẽ trở thành một chiến lược quan trọng như phát triển mô hình vì nó cung cấp khuôn khổ hoạt động cho phép các tổ chức mở rộng AI một cách có trách nhiệm. Khi các doanh nghiệp áp dụng nhiều mô hình, nhiều đám mây và ngày càng nhiều quy trình tự động, quản lý trở thành lớp giúp giữ cho các môi trường đó an toàn và có trách nhiệm trên toàn bộ tài sản cơ sở hạ tầng.

Các tác nhân AI ngày càng được trao quyền phân bổ tài nguyên, triển khai khối lượng công việc và đưa ra quyết định hoạt động. Những rào cản nào phải được đặt ra trước khi các doanh nghiệp có thể an toàn tin tưởng vào các hệ thống tự động với cơ sở hạ tầng quan trọng?

Nhiều tổ chức đã triển khai các tác nhân AI trong sản xuất. Câu hỏi là làm thế nào những tác nhân đó hoạt động trong các ranh giới rõ ràng.

Yêu cầu đầu tiên là thực thi chính sách quyết định tại lớp thực thi. Các tác nhân chỉ nên có thể thực hiện các hành động tuân thủ các chính sách cơ sở hạ tầng được định nghĩa trước. Những chính sách đó không thể dựa vào mô hình quyết định liệu một hành động có phù hợp hay không. Chúng cần được thực thi độc lập với mô hình chính.

Kiểm soát truy cập cũng rất quan trọng. Các quyền truy cập vĩnh viễn tạo ra rủi ro hoạt động không cần thiết. Truy cập nên được cấp cho nhiệm vụ cụ thể đang được thực hiện, giới hạn ở các tài nguyên cần thiết và thu hồi tự động khi công việc được hoàn thành. Mô hình đó cho phép các tổ chức mở rộng tự động hóa mà không mở rộng bề mặt tấn công của họ.

Mỗi hành động cũng cần một bản ghi chép hoàn chỉnh. Khi các hệ thống AI trở nên tự động hơn, các doanh nghiệp cần hiểu tác nhân nào đã thực hiện hành động, khi nào nó xảy ra, chính sách nào đã ủy quyền cho nó và những thay đổi nào đã được thực hiện. Mức độ khả năng theo dõi đó hỗ trợ khắc phục sự cố hoạt động cũng như tuân thủ quy định.

Tôi cũng tin rằng cơ sở hạ tầng tự động nên hoạt động trong các môi trường được quản lý chứ không phải trên cơ sở hạ tầng không bị hạn chế. Các môi trường được định nghĩa rõ ràng cung cấp các ranh giới tài nguyên rõ ràng, kiểm soát vòng đời và các chính sách hoạt động trước khi một tác nhân bắt đầu thực hiện khối lượng công việc. Điều đó cho phép các tổ chức tăng tự động hóa trong khi duy trì hành vi hoạt động có thể dự đoán được khi các triển khai AI tiếp tục mở rộng.

Bạn thường thảo luận về sự chuyển đổi từ tự động hóa truyền thống sang cái mà bạn gọi là mặt điều khiển thông minh. Điều gì cơ bản thay đổi khi cơ sở hạ tầng bắt đầu hoạt động xung quanh ý định thay vì các quy tắc và quy trình tĩnh?

Tự động hóa truyền thống thực hiện các bước được định nghĩa trước. Điều đó hoạt động khi cơ sở hạ tầng có thể dự đoán, khối lượng công việc ổn định và các thay đổi xảy ra thông qua các quy trình do con người quản lý. Cơ sở hạ tầng AI không hoạt động theo cách đó.

Khối lượng công việc AI là động. Nhu cầu GPU thay đổi nhanh chóng, môi trường được tạo và hủy thường xuyên, và các tác nhân có thể cần truy cập vào tài nguyên cho các nhiệm vụ cụ thể. Một mặt điều khiển thông minh hiểu mục đích của một môi trường, ai sở hữu nó, nó có giá bao nhiêu, các chính sách nào áp dụng và liệu trạng thái trực tiếp vẫn khớp với trạng thái dự định.

Điều đó thay đổi quản lý cơ sở hạ tầng. Hệ thống có thể phát hiện sự trôi dạt, đề xuất tối ưu hóa, thực thi chính sách và đưa ra quyết định vòng đời chống lại kết quả dự định thay vì một kịch bản tĩnh.

Cơ sở hạ tầng GPU đã trở thành một trong những điểm nghẽn lớn nhất trong triển khai AI. Bạn có tin rằng ngành công nghiệp đang tiếp cận việc sử dụng GPU sai lầm, và những thay đổi hoạt động nào có thể cải thiện đáng kể hiệu quả mà không cần thêm phần cứng?

Ngành công nghiệp thường coi vấn đề GPU là một vấn đề mua sắm. Trong nhiều doanh nghiệp, vấn đề ngay lập tức hơn là hiệu suất sử dụng.

Chúng tôi thấy các tổ chức có cụm GPU được phân bổ trước cho nhu cầu đỉnh, không hoạt động giữa các lần chạy huấn luyện hoặc vẫn được gắn vào các môi trường sau khi công việc đã kết thúc. Điều đó tạo ra chi phí cao mà không phù hợp với giá trị kinh doanh.

Cải thiện hiệu quả GPU bắt đầu với kiểm soát vòng đời. Các môi trường nên được cung cấp theo nhu cầu, phù hợp với khối lượng công việc, thuộc về một đội hoặc dự án và bị hủy tự động khi nhiệm vụ được hoàn thành. Các doanh nghiệp cũng cần có khả năng hiển thị vào việc sử dụng, chi phí cho mỗi khối lượng công việc và mục đích kinh doanh đằng sau mỗi môi trường.

Việc thêm phần cứng có thể vẫn cần thiết, nhưng khả năng GPU không được quản lý chỉ mở rộng vấn đề về chi phí.

Nhiều doanh nghiệp hiện hoạt động trên đám mây công cộng, đám mây riêng, môi trường tại chỗ và cơ sở hạ tầng biên. Bạn nhìn thấy các môi trường AI hỗn hợp sẽ phát triển như thế nào trong năm năm tới, và những thách thức nào vẫn chưa được giải quyết ngày nay?

AI hỗn hợp sẽ trở thành mô hình doanh nghiệp mặc định. Các tổ chức sẽ sử dụng đám mây công cộng để có sự linh hoạt, cơ sở hạ tầng tại chỗ để kiểm soát và quản lý chi phí, và môi trường biên nơi độ trễ, vị trí dữ liệu hoặc yêu cầu hoạt động đòi hỏi.

Thách thức chưa được giải quyết là sự nhất quán. Hầu hết các doanh nghiệp đã hoạt động trên nhiều nhà cung cấp, đám mây, công cụ tự động hóa và loại cơ sở hạ tầng. AI thêm các cụm GPU, môi trường phục vụ mô hình, đường ống tinh chỉnh, khối lượng công việc của tác nhân và tự động hóa đường ống CI/CD vào hỗn hợp đó.

Trong năm năm tới, các tổ chức hàng đầu sẽ là những tổ chức tạo ra một tiêu chuẩn hoạt động duy nhất trên các môi trường đó. Họ sẽ cần có cung cấp nhất quán, thực thi chính sách, phân bổ chi phí, quản lý vòng đời và khả năng hiển thị, bất kể khối lượng công việc chạy ở đâu.

DevOps đã biến đổi việc phân phối phần mềm trong thập kỷ qua. Bạn có nghĩ rằng cơ sở hạ tầng AI đòi hỏi một mô hình hoạt động hoàn toàn mới, hay đó là sự tiến hóa tự nhiên của DevOps và kỹ thuật nền tảng?

Cơ sở hạ tầng AI mở rộng DevOps, nhưng nó cũng giới thiệu các yêu cầu mà các thực tiễn DevOps truyền thống không được thiết kế để xử lý.

DevOps đã cải thiện việc phân phối phần mềm bằng cách tiêu chuẩn hóa các đường ống, tự động hóa công việc lặp đi lặp lại và cung cấp cho các đội quyền truy cập nhanh hơn vào tài nguyên họ cần. Cơ sở hạ tầng AI đòi hỏi sự kỷ luật tương tự, nhưng các khối lượng công việc đòi hỏi nhiều tài nguyên hơn, ít có thể dự đoán hơn và phụ thuộc nhiều hơn vào cơ sở hạ tầng chuyên dụng.

Kỹ thuật nền tảng trở nên quan trọng trong môi trường này. Các đội cần có quyền truy cập tự phục vụ được quản lý vào các môi trường đã được xác thực, thay vì cung cấp dựa trên vé hoặc cấu hình thủ công một lần. Mô hình hoạt động vẫn đánh giá cao tốc độ và tự động hóa, nhưng nó cũng đòi hỏi quản lý, kiểm soát chi phí và bối cảnh cơ sở hạ tầng mạnh mẽ hơn từ đầu.

Hoạt động không cần chạm đã trở thành một mục tiêu trong quản lý cơ sở hạ tầng. Chúng ta đang gần với cơ sở hạ tầng thực sự tự động đến mức nào, và những rào cản kỹ thuật và tổ chức lớn nhất vẫn còn là gì?

Chúng tôi đang gần với cơ sở hạ tầng tự động hơn nhiều so với hầu hết mọi người nhận ra, nhưng yếu tố hạn chế là quản lý chứ không phải tự động hóa. Các tác nhân AI đã có thể cung cấp môi trường, triển khai khối lượng công việc, điều tra các bất thường và đề xuất khắc phục. Thách thức là đảm bảo rằng những hành động đó xảy ra trong các ranh giới chính sách rõ ràng.

Các tổ chức cũng cần có niềm tin rằng các hệ thống tự động có thể giải thích những gì họ đã làm, tại sao họ đã làm và theo chính sách nào họ đã hành động. Mức độ khả năng theo dõi đó vẫn còn thiếu trong nhiều môi trường doanh nghiệp. Cơ sở hạ tầng tự động sẽ trở thành phổ biến khi quản lý, khả năng kiểm tra và thực thi chính sách được tích hợp vào lớp hoạt động thay vì được thêm vào sau.

Khi các khối lượng công việc AI trở nên động và đòi hỏi nhiều tài nguyên hơn, việc vượt quá chi phí đang trở thành một mối quan tâm lớn. Những sai lầm phổ biến nhất mà các doanh nghiệp mắc phải khi cố gắng mở rộng cơ sở hạ tầng AI là gì, và họ có thể tránh những sai lầm đó như thế nào?

Nhiều tổ chức tập trung vào việc mua thêm khả năng tính toán trước khi hiểu rõ họ đang sử dụng cơ sở hạ tầng hiện có hiệu quả như thế nào.

Chúng tôi thường thấy các môi trường vẫn hoạt động sau khi dự án kết thúc, tài nguyên GPU được bảo留 cho các khối lượng công việc không bao giờ chạy và rất ít khả năng hiển thị vào việc sử dụng và chi phí cơ sở hạ tầng. Các khối lượng công việc AI khuếch đại những hiệu quả đó vì nhu cầu thay đổi nhanh chóng và cơ sở hạ tầng GPU đắt tiền.

Giải pháp bắt đầu với quản lý. Mỗi môi trường nên có một chủ sở hữu được định nghĩa, mục đích kinh doanh, vòng đời và hồ sơ chi phí từ thời điểm nó được cung cấp. Khi các tổ chức kết hợp cung cấp theo chính sách với việc hủy tự động và khả năng hiển thị liên tục vào việc sử dụng, chi tiêu cơ sở hạ tầng trở nên dễ dự đoán và chứng minh hơn.

Nhìn về tương lai, điều gì sẽ phân biệt các tổ chức thành công trong việc hoạt động hóa AI trên quy mô lớn với những tổ chức gặp khó khăn, và những xu hướng cơ sở hạ tầng nào mà các nhà lãnh đạo công nghệ nên chú ý ngay bây giờ vẫn chưa được chú ý?

Các tổ chức thành công sẽ coi cơ sở hạ tầng AI là một khả năng hoạt động chứ không phải là một tập hợp các công nghệ. Các mô hình sẽ tiếp tục được cải thiện và phần cứng sẽ tiếp tục trở nên mạnh mẽ hơn. Vận hành những môi trường đó một cách nhất quán trên nhiều đội và nền tảng sẽ vẫn là thách thức khó khăn hơn.

Một xu hướng xứng đáng được chú ý hơn là sự chuyển dịch hướng tới trí tuệ cơ sở hạ tầng. Các nền tảng cơ sở hạ tầng đang bắt đầu hiểu bối cảnh của những gì chúng quản lý, ai sở hữu một môi trường, khối lượng công việc nào mà nó hỗ trợ, nó có giá bao nhiêu, liệu nó có tuân thủ chính sách hay không và khi nào nó nên được tối ưu hóa hoặc loại bỏ. Bối cảnh hoạt động đó sẽ trở nên ngày càng quý giá khi các doanh nghiệp triển khai nhiều tác nhân AI và cơ sở hạ tầng dị hợp hơn.

Tôi cũng dự đoán rằng quản lý sẽ trở thành một lợi thế cạnh tranh. Các tổ chức có thể cung cấp cơ sở hạ tầng nhanh chóng trong khi duy trì khả năng hiển thị, thực thi chính sách, kiểm soát chi phí và khả năng kiểm tra sẽ di chuyển các dự án AI từ giai đoạn thử nghiệm sang sản xuất nhanh hơn nhiều so với những tổ chức vẫn phụ thuộc vào các mô hình hoạt động phân mảnh.

Cảm ơn bạn vì cuộc phỏng vấn tuyệt vời, độc giả muốn tìm hiểu thêm có thể truy cập Quali.