Memilih Penyimpanan untuk Mendukung Inisiatif AI/ML

Oleh Candida Valois, Field CTO, Americas, Scality

Adopsi ML dan AI terus meningkat dengan cepat, yang tidak mengherankan, mengingat wawasan bisnis dan transformasi industri yang banyak digunakan. PwC memprediksi bahwa pada tahun 2030, AI bisa memberikan kontribusi hampir $16 triliun untuk perekonomian global. Ini berarti peningkatan 26% dalam PDB untuk perekonomian lokal.

Teknologi ini memerlukan jumlah data tak terstruktur yang besar untuk beroperasi, dan data tersebut sering kali berupa video, gambar, teks, dan suara. Beban kerja seperti ini memerlukan pendekatan baru dalam penyimpanan data; cara lama tidak cukup. Dengan munculnya beban kerja seperti ini, aplikasi memerlukan akses yang lebih cepat ke jumlah data yang besar – data yang dibuat di mana-mana: di cloud, di edge, dan on-premises. Beban kerja intensif ini memerlukan latensi rendah, kemampuan untuk mendukung berbagai jenis dan ukuran payload, dan kemampuan untuk menskalakan secara linier.

Apa yang dibutuhkan adalah pendekatan baru dalam pengiriman data, yang berfokus pada aplikasi daripada lokasi atau teknologi. Dengan adopsi AI/ML dan analitik skala besar, pemimpin IT perusahaan perlu melakukan perubahan signifikan dalam cara mereka berpikir tentang pengelolaan dan penyimpanan data.

Mengatasi Semua Ukuran File

Dalam hal beban kerja AI/ML dan penyimpanan data, organisasi memerlukan solusi yang dapat menangani berbagai jenis beban kerja, baik file kecil maupun besar. Dalam beberapa kasus, Anda mungkin perlu menangani hanya beberapa puluh terabyte, sementara di lain kasus, ada banyak petabyte. Tidak semua solusi dirancang untuk file besar, sama seperti tidak semua solusi dapat menangani file kecil. Kunci untuk menemukan solusi yang dapat menangani keduanya dengan cara yang fleksibel.

Skalabilitas sangat penting

Untuk memastikan akurasi dan kecepatan, organisasi memerlukan set data besar karena itulah yang dibutuhkan oleh algoritma AI/ML untuk melatih model yang mendasarinya. Organisasi ingin tumbuh dalam hal kapasitas dan kinerja, tetapi sering kali terhambat oleh solusi penyimpanan tradisional. Ketika mereka mencoba menskalakan secara linier, mereka tidak dapat melakukannya. Beban kerja AI/ML memerlukan solusi penyimpanan yang dapat menskalakan secara tak terbatas seiring pertumbuhan data.

Beberapa ratus terabyte memenuhi solusi penyimpanan file dan blok standar; setelah itu, mereka tidak dapat menskalakan. Penyimpanan objek dapat menskalakan secara tak terbatas, elastis, dan tanpa cela berdasarkan permintaan. Dan apa yang penting tentang penyimpanan objek dibandingkan dengan penyimpanan tradisional adalah bahwa itu adalah ruang datar yang sepenuhnya tanpa batasan. Pengguna tidak akan menemukan batasan yang mereka temukan dengan penyimpanan tradisional.

Memenuhi Persyaratan Kinerja

Penskalaan kapasitas sangat penting, tetapi itu tidak cukup. Organisasi juga memerlukan kemampuan untuk menskalakan secara linier dalam hal kinerja. Sayangnya, dengan banyak solusi penyimpanan tradisional, penskalaan kapasitas datang dengan biaya kinerja. Jadi, ketika organisasi perlu menskalakan secara linier dalam hal kapasitas, kinerja cenderung menurun atau menurun.

Paradigma penyimpanan standar terdiri dari file yang diatur dalam hierarki, dengan direktori dan sub-direktori. Arsitektur ini bekerja dengan baik ketika kapasitas data kecil, tetapi ketika kapasitas tumbuh, kinerja menderita pada titik tertentu karena bottleneck sistem dan keterbatasan dengan tabel lookup. Namun, penyimpanan objek menyediakan namespace datar tak terbatas sehingga dengan menambahkan node tambahan, Anda dapat menskalakan hingga petabyte dan lebih. Oleh karena itu, Anda dapat menskalakan untuk kinerja seiring dengan penskalaan kapasitas.

Penyimpanan yang Dapat Mendukung Proyek AI/ML

Organisasi harus mengadopsi cara baru untuk melihat penyimpanan karena AI dan ML semakin populer. Pendekatan baru ini harus memungkinkan mereka untuk memulai, menjalankan, dan menskalakan inisiatif AI/ML mereka dengan cara yang tepat. Pelatihan AI/ML adalah kebutuhan yang jelas, sehingga beberapa perangkat lunak penyimpanan objek kelas perusahaan yang tersedia saat ini dibangun untuk memenuhi kebutuhan tersebut. Perusahaan dapat memulai inisiatif mereka dengan skala kecil, memulai dengan satu server, lalu menskalakan keluar sesuai kebutuhan untuk kapasitas dan kinerja. Proyek ini juga sangat memerlukan kinerja untuk aplikasi analitik mereka, dan penyimpanan objek cepat menyediakannya. Selain itu, penyimpanan objek menyediakan pengelolaan siklus hidup data yang lengkap di seluruh cloud dan memungkinkan fleksibilitas dari edge hingga inti.

Perusahaan perlu memproses data dengan efisien, dan penyimpanan objek melakukannya dengan memungkinkan aplikasi mengakses data on-premises dengan mudah, bahkan di beberapa cloud. Latensi rendah, skalabilitas, dan fleksibilitas membuat penyimpanan objek menjadi sekutu yang kuat untuk inisiatif AI/ML.