Ugur Tigli, Giám đốc kỹ thuật tại MinIO – Chuỗi phỏng vấn

Ugur Tigli là Giám đốc Kỹ thuật tại tối thiểu, công ty dẫn đầu về lưu trữ đối tượng hiệu suất cao dành cho AI. Với tư cách là CTO, Ugur giúp khách hàng kiến ​​trúc và triển khai cơ sở hạ tầng dữ liệu cấp doanh nghiệp dựa trên nền tảng đám mây và có thể mở rộng dựa trên API bằng cách sử dụng MinIO.

Bạn có thể mô tả hành trình trở thành CTO của MinIO không và trải nghiệm của bạn đã định hình cách tiếp cận của bạn như thế nào? AI và cơ sở hạ tầng dữ liệu?

Tôi bắt đầu sự nghiệp của mình trong lĩnh vực kỹ thuật cơ sở hạ tầng tại Merrill Lynch với tư cách là quản trị viên sao lưu và khôi phục. Tôi tiếp tục đảm nhận những thử thách khác nhau và các vị trí kỹ thuật khác nhau. Tôi gia nhập Bank of America thông qua việc mua lại Merrill Lynch, nơi tôi là phó chủ tịch phụ trách Kỹ thuật lưu trữ. Tuy nhiên, vai trò của tôi vẫn mở rộng sang bao gồm kỹ thuật điện toán và trung tâm dữ liệu.

Là một phần công việc của mình, tôi cũng làm việc với nhiều công ty đầu tư mạo hiểm (VC) và các công ty trong danh mục đầu tư của họ để mang đến công nghệ mới nhất và tốt nhất. Trong một cuộc gặp với General Catalyst, tôi đã được giới thiệu về ý tưởng và những con người đằng sau MinIO. Nó hấp dẫn tôi vì cách họ tiếp cận cơ sở hạ tầng dữ liệu - nó khác với những sản phẩm khác trên thị trường. Công ty nhận ra tầm quan trọng của kho đối tượng và các API tiêu chuẩn mà các ứng dụng bắt đầu sử dụng. Trong những năm đó, họ có thể dự đoán tương lai của máy tính và AI trước bất kỳ ai khác hoặc thậm chí trước khi nó được gọi như ngày nay. Tôi muốn trở thành một phần trong việc thực hiện tầm nhìn đó và xây dựng một cái gì đó thực sự độc đáo. MinIO hiện là kho đối tượng được triển khai rộng rãi nhất trên hành tinh.

Tác động của vai trò và kinh nghiệm trước đây của tôi đối với cách tôi tiếp cận các công nghệ mới, đặc biệt là AI và cơ sở hạ tầng dữ liệu, cũng chỉ đơn giản là sự tích lũy của nhiều dự án mà tôi đã tham gia trong suốt nhiều năm hỗ trợ các nhóm ứng dụng trong một công ty dịch vụ tài chính có yêu cầu cao.

Từ thời băng thông mạng hạn chế, dẫn đến công nghệ Hadoop trở thành công nghệ mới nhất cách đây 15 năm, cho đến các công nghệ truyền thông dữ liệu khác nhau từ Ổ đĩa cứng (HDD) đến Ổ cứng thể rắn (SSD), nhiều thay đổi trong số công nghệ này đã định hình quan điểm hiện tại của tôi sau đó AI hệ sinh thái và cơ sở hạ tầng dữ liệu.

MinIO được công nhận nhờ khả năng lưu trữ đối tượng hiệu suất cao. MinIO đặc biệt đáp ứng nhu cầu của AI- Định hướng doanh nghiệp ngày nay?

Khi AB và Garima lên ý tưởng cho MinIO, ưu tiên hàng đầu của họ là nghĩ ra cách trình bày vấn đề — họ biết dữ liệu sẽ tiếp tục phát triển và các công nghệ lưu trữ hiện tại không tương thích với sự phát triển đó. Sự xuất hiện nhanh chóng của AI đã biến quan điểm tiên tri của họ về thị trường thành hiện thực. Kể từ đó, việc lưu trữ đối tượng đã trở thành nền tảng cho AI cơ sở hạ tầng (tất cả các LLM chính như OpenAI và Anthropic đều được xây dựng trên kho đối tượng) và trung tâm dữ liệu hiện đại được xây dựng trên nền tảng kho đối tượng.

MinIO gần đây đã ra mắt nền tảng lưu trữ đối tượng mới với các tính năng quan trọng cấp doanh nghiệp để hỗ trợ các tổ chức trong hoạt động của họ. AI sáng kiến: Kho đối tượng doanh nghiệp MinIO. Nó được thiết kế cho những thách thức về hiệu suất và quy mô được giới thiệu bởi AI khối lượng công việc và cho phép khách hàng giải quyết các thách thức liên quan đến hàng tỷ đối tượng dễ dàng hơn cũng như hàng trăm nghìn hoạt động mã hóa trên mỗi nút mỗi giây. Nó có sáu tính năng thương mại mới nhắm đến những thách thức chính về vận hành và kỹ thuật mà AI khối lượng công việc: Danh mục (điều này giải quyết vấn đề về không gian tên lưu trữ đối tượng và tìm kiếm siêu dữ liệu), Tường lửa (được xây dựng có mục đích cho dữ liệu), Hệ thống quản lý khóa (giải quyết vấn đề xử lý hàng tỷ khóa mật mã), Cache (hoạt động như một dịch vụ bộ đệm ), Khả năng quan sát (cho phép quản trị viên xem tất cả các thành phần hệ thống trên mọi phiên bản) và cuối cùng là Bảng điều khiển doanh nghiệp (đóng vai trò như một khung kính duy nhất cho tất cả các phiên bản MinIO của tổ chức).

Xử lý AI ở quy mô ngày càng trở nên quan trọng. Bạn có thể giải thích lý do tại sao lại như vậy và làm thế nào MinIO tạo điều kiện thuận lợi cho những yêu cầu này cho các doanh nghiệp hiện đại không?

Hầu hết mọi thứ mà các tổ chức xây dựng hiện đều nằm trên bộ lưu trữ đối tượng, điều này sẽ chỉ tăng tốc khi những cơ sở hạ tầng đang chạy với một thiết bị gặp khó khăn trong thời đại hồ dữ liệu hiện đại và AI. Các tổ chức đang xem xét cơ sở hạ tầng mới để quản lý tất cả dữ liệu đi vào hệ thống của họ, sau đó xây dựng các ứng dụng tập trung vào dữ liệu trên đó – điều này đòi hỏi quy mô và tính linh hoạt đặc biệt mà chỉ lưu trữ đối tượng mới có thể hỗ trợ. Đó là lúc MinIO xuất hiện và tại sao công ty luôn dẫn trước đối thủ vì nó được thiết kế cho những gì AI nhu cầu – lưu trữ khối lượng lớn dữ liệu có cấu trúc và không cấu trúc, đồng thời cung cấp hiệu suất trên quy mô lớn.

Tương tự như nhu cầu học máy (ML) ở các thế hệ trước AI, dữ liệu và các hồ dữ liệu hiện đại đóng vai trò quan trọng đối với sự thành công của bất kỳ hoạt động “dự đoán” nào AI. Tuy nhiên, với sự tiến bộ của “sáng tạo” AI, bối cảnh này đã mở rộng để bao gồm nhiều thành phần khác, chẳng hạn như AI Đường dẫn tài liệu và dữ liệu hoạt động, mô hình nền tảng và cơ sở dữ liệu vectơ.

Tất cả các thành phần bổ sung này đều sử dụng bộ lưu trữ đối tượng và hầu hết chúng đều tích hợp trực tiếp với MinIO. Ví dụ: Milvus, cơ sở dữ liệu vectơ, sử dụng MinIO và nhiều công cụ truy vấn hiện đại tích hợp với MinIO thông qua API S3.

AI nợ kỹ thuật là mối quan tâm ngày càng tăng của nhiều tổ chức. MinIO sử dụng những chiến lược nào để giúp khách hàng tránh được vấn đề này, đặc biệt là trong việc sử dụng GPU hiệu quả hơn?

Một sợi dây xích cũng mạnh mẽ như mắt xích yếu nhất của nó - và AI/Cơ sở hạ tầng ML chỉ nhanh bằng thành phần chậm nhất của bạn. Nếu bạn đào tạo các mô hình học máy bằng GPU, liên kết yếu có thể là giải pháp lưu trữ của bạn. Kết quả là cái mà tôi gọi là “Sự cố GPU chết đói”. Sự cố GPU đói xảy ra khi mạng hoặc giải pháp lưu trữ của bạn không thể cung cấp dữ liệu đào tạo cho logic đào tạo của bạn đủ nhanh để sử dụng tối đa GPU của bạn, khiến sức mạnh tính toán có giá trị bị ảnh hưởng. Điều mà các tổ chức có thể làm để tận dụng tối đa GPU của mình trước tiên là hiểu các dấu hiệu của kiến ​​trúc dữ liệu kém và nó có thể trực tiếp dẫn đến việc sử dụng không đúng mục đích như thế nào. AI công nghệ. Để tránh nợ kỹ thuật, các công ty phải thay đổi cách xem (và lưu trữ) dữ liệu.

Các tổ chức có thể thiết lập giải pháp lưu trữ trong cùng trung tâm dữ liệu với cơ sở hạ tầng máy tính của họ. Lý tưởng nhất là nó sẽ nằm trong cùng cụm với máy tính của bạn. Vì MinIO là giải pháp lưu trữ được xác định bằng phần mềm nên nó có khả năng đạt hiệu suất cần thiết để cung cấp cho các GPU đang đói – một giải pháp gần đây điểm chuẩn đạt được 325 GiB/s trên GET và 165 GiB/s trên PUT chỉ với 32 nút SSD NVMe có sẵn.

Bạn có nền tảng phong phú về việc tạo cơ sở hạ tầng dữ liệu hiệu suất cao cho các tổ chức tài chính toàn cầu. Những trải nghiệm này hỗ trợ công việc của bạn tại MinIO như thế nào, đặc biệt là trong việc xây dựng các giải pháp kiến ​​trúc cho các nhu cầu đa dạng của ngành?

Tôi đã giúp xây dựng đám mây riêng đầu tiên cho Bank of America và sáng kiến ​​đó đã tiết kiệm hàng tỷ đô la bằng cách cung cấp các tính năng và chức năng có sẵn trong nội bộ đám mây công cộng với chi phí thấp hơn. Không chỉ sáng kiến ​​quan trọng này mà nhiều yêu cầu ứng dụng đa dạng khác mà tôi đã thực hiện tại BofA Merrill Lynch đã định hình công việc của tôi tại MinIO vì nó liên quan đến các giải pháp kiến ​​trúc cho khách hàng của chúng tôi ngày nay.

Ví dụ: học sai hoặc cách “khó” đã được thực hiện với nhóm xây dựng các cụm Hadoop chỉ sử dụng các thành phần lưu trữ dữ liệu của máy chủ trong khi vẫn giữ cho CPU máy chủ không được sử dụng đúng mức hoặc gần như không hoạt động. Các ví dụ hoặc bài học đơn giản như thế này cho phép tôi sử dụng dữ liệu phân tách và các giải pháp điện toán trong cơ sở hạ tầng dữ liệu hiện đại ngày nay, đồng thời giúp đỡ khách hàng và đối tác của chúng tôi, những giải pháp tốt hơn về mặt kỹ thuật và chi phí thấp hơn bằng cách sử dụng các công nghệ mạng băng thông cao ngày nay và các cửa hàng đối tượng hiệu suất cao như MinIO và bất kỳ công cụ truy vấn hoặc xử lý nào.

 Đám mây lai đưa ra những thách thức và sự phức tạp đặc biệt. Bạn có thể thảo luận chi tiết về những vấn đề này và giải thích cách “bùng nổ” kết hợp giữa mô hình đám mây của MinIO giúp kiểm soát chi phí đám mây một cách hiệu quả không?

Việc sử dụng nhiều đám mây sẽ không dẫn đến việc tăng ngân sách CNTT và không thể đạt được các cột mốc quan trọng — nó sẽ giúp quản lý chi phí và đẩy nhanh lộ trình của tổ chức. Điều cần cân nhắc là việc đưa đám mây về nước — thực tế là việc chuyển hoạt động từ đám mây sang cơ sở hạ tầng tại chỗ có thể giúp tiết kiệm chi phí đáng kể, tùy theo từng trường hợp và bạn phải luôn xem đám mây như một mô hình vận hành chứ không phải là đích đến. Ví dụ: các tổ chức tạo ra các phiên bản GPU nhưng sau đó dành thời gian xử lý trước dữ liệu để đưa nó vào GPU. Điều này gây lãng phí thời gian và tiền bạc quý báu – các tổ chức cần tối ưu hóa tốt hơn bằng cách chọn công nghệ gốc trên nền tảng đám mây và quan trọng hơn là các công nghệ di động trên nền tảng đám mây có thể khai thác sức mạnh của đa đám mây mà không phải trả chi phí đáng kể. Việc sử dụng các nguyên tắc mô hình vận hành ưu tiên đám mây và tuân thủ khuôn khổ đó mang lại sự linh hoạt để thích ứng với các yêu cầu vận hành luôn thay đổi.

Các giải pháp gốc Kubernetes đóng vai trò then chốt cho cơ sở hạ tầng hiện đại. Việc tích hợp MinIO với Kubernetes nâng cao khả năng mở rộng và tính linh hoạt của nó như thế nào cho AI cơ sở hạ tầng dữ liệu?

MinIO có thiết kế dựa trên Kubernetes và tương thích với S3 ngay từ đầu. Các nhà phát triển có thể nhanh chóng triển khai bộ lưu trữ đối tượng liên tục cho tất cả các ứng dụng gốc trên nền tảng đám mây của họ. Sự kết hợp giữa MinIO và Kubernetes cung cấp một nền tảng mạnh mẽ cho phép các ứng dụng mở rộng quy mô trên mọi cơ sở hạ tầng đám mây đa đám mây và đám mây lai mà vẫn được quản lý và bảo mật tập trung, tránh tình trạng khóa đám mây công cộng.

Với Kubernetes làm công cụ, MinIO có thể chạy ở bất cứ nơi nào Kubernetes hoạt động – điều này, theo mô hình hiện đại, có nguồn gốc từ đám mây/AI thế giới, về cơ bản là ở khắp mọi nơi.

Nhìn về phía trước, những phát triển hoặc cải tiến trong tương lai mà người dùng có thể mong đợi từ MinIO trong bối cảnh AI cơ sở hạ tầng dữ liệu?

Các mối quan hệ hợp tác và ra mắt sản phẩm gần đây của chúng tôi là một dấu hiệu cho thị trường thấy rằng chúng tôi sẽ không sớm chậm lại và chúng tôi sẽ tiếp tục thúc đẩy đến những nơi có ý nghĩa đối với khách hàng của mình. Ví dụ: gần đây chúng tôi đã hợp tác với Carahsoft để cung cấp danh mục lưu trữ đối tượng được xác định bằng phần mềm của MinIO cho các lĩnh vực Chính phủ, Quốc phòng, Tình báo và Giáo dục. Điều này cho phép các tổ chức Khu vực công xây dựng bất kỳ cơ sở hạ tầng dữ liệu có quy mô đa dạng nào, từ các cơ sở dữ liệu hiện đại mở rộng đến các giải pháp lưu trữ dữ liệu dành riêng cho nhiệm vụ ở biên tự trị. Cùng nhau, chúng tôi sẽ mang đến những giải pháp tiên tiến, độc đáo này cho khách hàng thuộc Khu vực công, giúp họ giải quyết các thách thức về cơ sở hạ tầng dữ liệu một cách dễ dàng và hiệu quả. Sự hợp tác này diễn ra vào thời điểm có sự thúc đẩy ngày càng tăng nhằm tạo điều kiện cho khu vực công AI-sẵn sàng, với các yêu cầu gần đây của OMB quy định rằng tất cả các cơ quan liên bang đều cần có Giám đốc AI Sĩ quan (trong số những thứ khác). Nhìn chung, sự hợp tác giúp tăng cường sức mạnh của ngành AI và cung cấp cho khu vực công những công cụ có giá trị cần thiết để thành công.

Ngoài ra, MinIO có vị thế rất tốt cho tương lai. AI cơ sở hạ tầng dữ liệu vẫn còn ở giai đoạn sơ khai. Nhiều lĩnh vực của nó sẽ rõ ràng hơn trong vài năm tới. Ví dụ: hầu hết các doanh nghiệp sẽ muốn sử dụng dữ liệu và tài liệu độc quyền của họ với các mô hình nền tảng và Thế hệ tăng cường truy xuất (RAG). Việc tích hợp sâu hơn vào mẫu triển khai này sẽ dễ dàng đối với MinIO vì thực tế là tất cả các lựa chọn kiến ​​trúc và mẫu triển khai này đều có một điểm chung – tất cả dữ liệu đó đã được lưu trữ trên MinIO.

Cuối cùng, đối với những nhà lãnh đạo công nghệ đang tìm cách xây dựng hoặc nâng cao cơ sở hạ tầng dữ liệu của họ cho AI, bạn sẽ đưa ra lời khuyên gì dựa trên kinh nghiệm và hiểu biết của mình tại MinIO?

Để thực hiện bất kỳ AI sáng kiến ​​thành công, có ba yếu tố chính bạn phải tuân theo: có dữ liệu phù hợp, cơ sở hạ tầng phù hợp và ứng dụng phù hợp. Nó thực sự bắt đầu từ việc hiểu những gì bạn cần – đừng ra ngoài và mua GPU đắt tiền chỉ vì bạn sợ mình sẽ bỏ lỡ cơ hội AI thuyền. Tôi tin tưởng mạnh mẽ rằng doanh nghiệp AI các chiến lược sẽ thất bại vào năm 2024 nếu các tổ chức chỉ tập trung vào bản thân các mô hình mà không tập trung vào dữ liệu. Suy nghĩ mô hình giảm so với dữ liệu tăng lên là một sai lầm nghiêm trọng – bạn phải bắt đầu với dữ liệu. Xây dựng cơ sở hạ tầng dữ liệu phù hợp. Sau đó, hãy nghĩ về mô hình của bạn. Khi các tổ chức hướng tới một AI-kiến trúc đầu tiên, điều bắt buộc là cơ sở hạ tầng dữ liệu của bạn phải kích hoạt dữ liệu của bạn – chứ không phải hạn chế dữ liệu đó.

Cảm ơn bạn về cuộc phỏng vấn tuyệt vời, độc giả muốn tìm hiểu thêm hãy truy cập tối thiểu.