Ugur Tigli, Chief Technical Officer di MinIO – Seri Wawancara

Ugur Tigli adalah Chief Technical Officer di MinIO, pemimpin dalam penyimpanan objek berkinerja tinggi untuk AI. Sebagai CTO, Ugur membantu klien merancang dan mengimplementasikan infrastruktur data perusahaan yang berbasis API, cloud-native, dan scalable menggunakan MinIO.

Apakah Anda dapat menjelaskan perjalanan Anda menjadi CTO MinIO, dan bagaimana pengalaman Anda telah membentuk pendekatan Anda terhadap AI dan infrastruktur data?

Saya memulai karir saya di Merrill Lynch sebagai administrator backup dan restore. Saya terus mengambil tantangan dan posisi teknis yang berbeda. Saya bergabung dengan Bank of America (BAC ) melalui akuisisi Merrill Lynch, di mana saya menjadi wakil presiden di bidang Teknik Penyimpanan. Namun, peran saya diperluas untuk mencakup teknik komputasi dan teknik pusat data.

Sebagai bagian dari pekerjaan saya, saya juga bekerja dengan berbagai perusahaan modal ventura (VC) dan perusahaan portofolio mereka untuk membawa teknologi terbaru dan terbaik. Selama salah satu pertemuan saya dengan General Catalyst, saya diperkenalkan dengan ide dan orang-orang di balik MinIO. Ini menarik bagi saya karena cara mereka mendekati infrastruktur data — berbeda dari semua orang lain di pasar. Perusahaan ini menyadari pentingnya toko objek dan API standar yang digunakan aplikasi. Selama tahun-tahun itu, mereka dapat memprediksi masa depan komputasi dan AI sebelum siapa pun atau bahkan sebelum disebut apa yang sekarang. Saya ingin menjadi bagian dari eksekusi visi dan membangun sesuatu yang benar-benar unik. MinIO sekarang adalah toko objek yang paling banyak digunakan di planet ini.

Dampak peran sebelumnya dan pengalaman saya pada cara saya mendekati teknologi baru, terutama AI dan infrastruktur data, juga hanya akumulasi dari banyak proyek yang saya lakukan melalui tahun-tahun saya mendukung tim aplikasi di perusahaan jasa keuangan yang sangat menuntut.

Dari hari-hari bandwidth jaringan terbatas, yang mengarah ke teknologi Hadoop 15 tahun yang lalu, hingga berbagai teknologi media data dari Hard Disk Drive (HDD) ke Solid State Drive (SSD), banyak perubahan teknologi ini telah membentuk pandangan saya tentang ekosistem AI dan infrastruktur data.

MinIO dikenal karena kemampuan penyimpanan objek berkinerja tinggi. Bagaimana MinIO secara khusus memenuhi kebutuhan perusahaan yang didorong oleh AI hari ini?

Ketika AB dan Garima memvisualisasikan MinIO, prioritas pertama mereka adalah memikirkan pernyataan masalah — mereka tahu data akan terus tumbuh dan teknologi penyimpanan yang ada tidak kompatibel dengan pertumbuhan tersebut. Munculnya AI yang cepat telah membuat pandangan mereka tentang pasar menjadi kenyataan. Sejak itu, penyimpanan objek telah menjadi fondasi untuk infrastruktur AI (semua LLM besar seperti OpenAI dan Anthropic dibangun di atas toko objek), dan pusat data modern dibangun di atas fondasi toko objek.

MinIO baru-baru ini meluncurkan platform penyimpanan objek baru dengan fitur kelas perusahaan yang penting untuk mendukung organisasi dalam inisiatif AI mereka: MinIO Enterprise Object Store. Ini dirancang untuk tantangan kinerja dan skala yang diperkenalkan oleh beban kerja AI yang besar dan memungkinkan pelanggan untuk mengatasi tantangan yang terkait dengan miliaran objek dengan lebih mudah, serta ratusan ribu operasi kriptografis per node per detik. Ini memiliki enam fitur komersial baru yang menargetkan tantangan operasional dan teknis kunci yang dihadapi oleh beban kerja AI: Katalog (ini memecahkan masalah namespace dan pencarian metadata penyimpanan objek), Firewall (dirancang khusus untuk data), Sistem Manajemen Kunci (memecahkan masalah menghadapi miliaran kunci kriptografis), Cache (beroperasi sebagai layanan caching), Observabilitas (memungkinkan administrator untuk melihat semua komponen sistem di seluruh instance), dan terakhir, Enterprise Console (berfungsi sebagai satu panel kaca untuk semua instance MinIO organisasi).

Mengatasi AI pada skala yang besar menjadi semakin penting. Bisakah Anda menjelaskan mengapa ini kasus dan bagaimana MinIO memfasilitasi persyaratan ini untuk infrastruktur data AI modern?

Hampir semua yang dibangun organisasi sekarang berada di penyimpanan objek yang akan dipercepat seiring dengan mereka yang menjalankan infrastruktur dengan perangkat yang mengenai dinding di era danau data modern dan AI. Organisasi sedang melihat infrastruktur baru untuk mengelola semua data yang masuk ke sistem mereka dan kemudian membangun aplikasi yang berorientasi data di atasnya — ini memerlukan skala dan fleksibilitas luar biasa yang hanya dapat didukung oleh penyimpanan objek. Itulah di mana MinIO masuk dan mengapa perusahaan ini selalu berdiri mil di depan kompetisi karena dirancang untuk apa yang AI butuhkan — menyimpan volume data terstruktur dan tidak terstruktur yang besar dan menyediakan kinerja pada skala.

Serupa dengan kebutuhan machine learning (ML) di generasi AI sebelumnya, data dan danau data modern telah menjadi kritis untuk kesuksesan “prediktif” AI. Namun, dengan kemajuan “generatif” AI, lanskap ini telah diperluas untuk mencakup banyak komponen lain, seperti data AI Ops dan pipa dokumen, model dasar, dan basis data vektor.

Semua komponen tambahan ini menggunakan penyimpanan objek, dan sebagian besar dari mereka langsung terintegrasi dengan MinIO. Misalnya, Milvus, basis data vektor, menggunakan MinIO, dan banyak mesin kueri modern terintegrasi dengan MinIO melalui API S3.

AI utang teknis adalah masalah yang semakin meningkat bagi banyak organisasi. Strategi apa yang digunakan MinIO untuk membantu klien menghindari masalah ini, terutama dalam hal menggunakan GPU lebih efisien?

Rantai adalah sekuat rantai terlemah – dan infrastruktur AI/ML Anda hanya secepat komponen terlambat. Jika Anda melatih model machine learning dengan GPU, komponen terlemah Anda mungkin adalah solusi penyimpanan Anda. Hasilnya adalah apa yang saya sebut “Masalah GPU yang Kelaparan”. Masalah GPU yang Kelaparan terjadi ketika solusi jaringan atau penyimpanan Anda tidak dapat menyajikan data pelatihan ke logika pelatihan dengan cukup cepat untuk memanfaatkan GPU Anda sepenuhnya, meninggalkan daya komputasi yang berharga di atas meja. Sesuatu yang dapat dilakukan organisasi untuk memanfaatkan GPU mereka sepenuhnya adalah pertama-tama memahami tanda-tanda arsitektur data yang buruk dan bagaimana itu dapat langsung mengakibatkan underutilisasi teknologi AI. Untuk menghindari utang teknis, perusahaan harus mengubah cara mereka memandang (dan menyimpan) data.

Organisasi dapat mengatur solusi penyimpanan yang berada di pusat data yang sama dengan infrastruktur komputasi mereka. Idealnya, ini akan berada di cluster yang sama dengan komputasi Anda. Karena MinIO adalah solusi penyimpanan yang didefinisikan perangkat lunak, ini mampu melakukan kinerja yang diperlukan untuk memberi makan GPU yang lapar – benchmark baru-baru ini mencapai 325 GiB/s pada GET dan 165 GiB/s pada PUT dengan hanya 32 node NVMe SSD off-the-shelf.

Anda memiliki latar belakang kaya dalam menciptakan infrastruktur data berkinerja tinggi untuk lembaga keuangan global. Bagaimana pengalaman ini mempengaruhi pekerjaan Anda di MinIO, terutama dalam merancang solusi untuk kebutuhan industri yang beragam?

Saya membantu membangun cloud pribadi pertama untuk Bank of America dan inisiatif ini menyelamatkan miliaran dolar dengan menyediakan fitur dan fungsionalitas yang tersedia di cloud publik secara internal dengan biaya yang lebih rendah. Bukan hanya inisiatif besar ini, tetapi banyak persyaratan aplikasi yang beragam yang saya kerjakan di BofA Merrill Lynch telah membentuk pekerjaan saya di MinIO sehubungan dengan merancang solusi untuk kebutuhan pelanggan kami saat ini.

Misalnya, mempelajari cara yang salah atau “keras” bekerja dengan tim yang membangun cluster Hadoop yang hanya menggunakan komponen penyimpanan data server sementara menjaga CPU server tidak terpakai atau hampir idle. Contoh sederhana atau pembelajaran seperti ini memungkinkan saya untuk menggunakan solusi data dan komputasi yang terpisah dalam infrastruktur data modern hari ini sambil membantu pelanggan dan mitra kami, yang secara teknis lebih baik dan lebih rendah biaya dengan menggunakan teknologi jaringan bandwidth tinggi dan penyimpanan objek berkinerja tinggi seperti MinIO dan mesin kueri atau mesin pemrosesan apa pun.

Model awan hibrida menyajikan tantangan dan kompleksitas unik. Bisakah Anda membahas ini secara rinci dan menjelaskan bagaimana model “ledakan” MinIO ke awan membantu mengontrol biaya awan secara efektif?

Pergi ke multicloud tidak boleh menyebabkan anggaran IT membengkak dan ketidakmampuan untuk mencapai milestone — ini harus membantu mengelola biaya dan mempercepat jalan organisasi. Sesuatu yang perlu dipertimbangkan adalah repatriasi cloud — kenyataannya adalah bahwa memindahkan operasi dari cloud ke infrastruktur on-premises dapat menghasilkan penghematan biaya yang substantial, tergantung pada kasusnya, dan Anda harus selalu melihat cloud sebagai model operasi, bukan tujuan. Misalnya, organisasi memutar instance GPU tetapi kemudian menghabiskan waktu untuk memproses data untuk memasukkannya ke dalam GPU. Ini membuang waktu dan uang yang berharga — organisasi perlu mengoptimalkan lebih baik dengan memilih teknologi asli cloud dan, yang lebih penting, teknologi yang dapat dipindahkan ke cloud yang dapat membuka kekuatan multicloud tanpa biaya yang signifikan. Menggunakan prinsip-prinsip model operasi cloud-first dan mematuhi kerangka tersebut memberikan kemampuan untuk beradaptasi dengan kebutuhan operasional yang berubah.

Solusi asli Kubernetes sangat penting untuk infrastruktur modern. Bagaimana integrasi MinIO dengan Kubernetes meningkatkan skalabilitas dan fleksibilitasnya untuk infrastruktur data AI?

MinIO asli Kubernetes oleh desain dan kompatibel S3 sejak awal. Pengembang dapat dengan cepat menginstal penyimpanan objek yang persisten untuk semua aplikasi cloud-native mereka. Kombinasi MinIO dan Kubernetes menyediakan platform yang kuat yang memungkinkan aplikasi untuk menskalakan di seluruh infrastruktur multicloud dan hibrida serta tetap dikelola dan diamankan secara terpusat, menghindari kunci cloud publik.

Dengan Kubernetes sebagai mesinnya, MinIO dapat berjalan di mana saja Kubernetes dapat berjalan – yang, di dunia cloud-native/AI modern, hampir di mana-mana.

Menghadap ke depan, apa yang dapat pengguna harapkan dari MinIO dalam konteks infrastruktur data AI?

Kemitraan dan peluncuran produk terbaru kami adalah tanda kepada pasar bahwa kami tidak akan melambatkan langkah kami. Kami akan terus mendorong di mana itu masuk akal bagi pelanggan kami. Misalnya, kami baru-baru ini bermitra dengan Carahsoft untuk membuat portofolio penyimpanan objek yang didefinisikan perangkat lunak MinIO tersedia untuk sektor Pemerintah, Pertahanan, Intelijen, dan Pendidikan. Ini memungkinkan organisasi sektor publik untuk membangun infrastruktur data yang beragam, mulai dari danau data modern yang luas hingga solusi penyimpanan data khusus misi di tepi otonom. Bersama, kami membawa solusi unik dan canggih ini kepada pelanggan sektor publik, memberdayakan mereka untuk mengatasi tantangan infrastruktur data dengan mudah dan efisien. Kemitraan ini datang pada saat ketika ada dorongan yang meningkat untuk memungkinkan sektor publik menjadi siap AI, dengan persyaratan OMB terbaru yang menyatakan bahwa semua badan federal perlu memiliki Petugas AI Utama (di antara hal-hal lain). Secara keseluruhan, kemitraan ini membantu memperkuat postur AI industri dan memberikan alat yang berharga kepada sektor publik untuk sukses.

Selain itu, MinIO sangat siap untuk masa depan. Infrastruktur data AI masih dalam masa bayi. Banyak area yang akan lebih jelas dalam beberapa tahun ke depan. Misalnya, sebagian besar perusahaan akan ingin menggunakan data dan dokumen propietas mereka dengan model dasar dan Generasi Pembantu Pengambilan (RAG). Integrasi lebih lanjut ke pola penerapan ini akan mudah untuk MinIO karena semua pilihan arsitektur dan pola penerapan ini memiliki satu kesamaan – semua data tersebut sudah disimpan di MinIO.

Akhirnya, bagi pemimpin teknologi yang ingin membangun atau meningkatkan infrastruktur data mereka untuk AI, apa saran yang akan Anda berikan berdasarkan pengalaman dan wawasan Anda di MinIO?

Untuk membuat inisiatif AI apa pun berhasil, ada tiga elemen kunci yang harus Anda patuhi: memiliki data yang tepat, infrastruktur yang tepat, dan aplikasi yang tepat. Ini benar-benar dimulai dengan memahami apa yang Anda butuhkan — jangan pergi dan membeli GPU mahal hanya karena Anda takut akan ketinggalan kapal AI. Saya sangat percaya bahwa strategi AI perusahaan akan gagal pada 2024 jika organisasi hanya fokus pada model itu sendiri dan tidak pada data. Berpikir model ke bawah versus data ke atas adalah kesalahan kritis — Anda harus memulai dengan data. Bangun infrastruktur data yang tepat. Kemudian, pikirkan tentang model Anda. Ketika organisasi bergerak menuju arsitektur AI-pertama, sangat penting bahwa infrastruktur data Anda memungkinkan data Anda – bukan membatasinya.

Terima kasih atas wawancara yang luar biasa, pembaca yang ingin mempelajari lebih lanjut dapat mengunjungi MinIO.