Mengaktifkan Penerapan AI di Dunia Nyata dalam Skala Besar

Oleh Brad King, field CTO, Scality

Alat-alat AI/ML dan big data memiliki benang merah – mereka membutuhkan data, dan mereka membutuhkan banyak data. Kebijaksanaan konvensional mengatakan semakin banyak, semakin baik. Analis memprediksi bahwa pembuatan data global akan tumbuh menjadi lebih dari 180 zettabytes pada tahun 2025 – dan pada tahun 2020, jumlah data yang dibuat dan direplikasi mencapai rekor tertinggi sebesar 64,2 zettabytes.

Data tersebut sangat berharga – sering tidak dapat digantikan dan terkadang mewakili peristiwa satu kali atau seumur hidup. Data ini perlu disimpan dengan aman dan secara terjamin; dan sementara diperkirakan bahwa hanya sebagian kecil dari data baru ini yang disimpan, permintaan untuk kapasitas penyimpanan terus tumbuh. Bahkan, basis yang terpasang dari kapasitas penyimpanan diperkirakan akan tumbuh dengan tingkat pertumbuhan tahunan sebesar 19,2% antara tahun 2020 dan 2025, menurut peneliti di Statista.

Dengan lebih banyak data yang dibuat – terutama oleh beban kerja AI/ML ini – organisasi membutuhkan lebih banyak penyimpanan, tetapi tidak semua solusi penyimpanan dapat menangani beban kerja yang intensif dan besar ini. Apa yang dibutuhkan adalah pendekatan baru untuk penyimpanan. Mari kita lihat bagaimana organisasi mengatasi tantangan ini melalui lensa tiga kasus penggunaan.

Industri perjalanan

Sementara banyak dari kita baru saja terbiasa bepergian lagi setelah lebih dari setahun lockdown, industri perjalanan berusaha untuk kembali ke masa sebelum pandemi dengan cara yang besar. Dan ini membuat pentingnya data – terutama penerapan dan penggunaan data yang relevan – menjadi semakin penting.

Bayangkan apa yang bisa Anda lakukan dengan pengetahuan tentang di mana sebagian besar pelancong pesawat di dunia akan bepergian besok atau di mana mereka akan pergi. Untuk biro perjalanan, misalnya, itu akan sangat besar.

Tetapi organisasi perjalanan ini menghadapi begitu banyak data sehingga menyortir data untuk mengetahui apa yang bermakna adalah prospek yang luar biasa. Sekitar satu petabyte data dihasilkan setiap hari, dan sebagian dari data ini diduplikasi oleh situs seperti Kayak. Data ini sensitif waktu, dan perusahaan perjalanan perlu menemukan data yang bermakna dengan cepat. Mereka membutuhkan alat untuk dapat mengelola tingkat skala ini lebih efektif.

Industri otomotif

Contoh lain berasal dari industri otomotif, yang tentu saja merupakan salah satu kasus penggunaan yang paling dibicarakan. Industri ini telah bekerja keras selama waktu yang lama dengan alat bantu seperti lane minders, collision avoidance dan sebagainya. Semua sensor ini membawa sejumlah besar data. Dan, tentu saja, mereka mengembangkan, menguji, dan memverifikasi algoritma self-driving.

Apa yang dibutuhkan industri ini adalah cara yang lebih baik untuk memahami data yang disimpan sehingga mereka dapat menggunakan data tersebut untuk menganalisis insiden di mana sesuatu salah, mengkurasi output sensor sebagai kasus uji, menguji algoritma melawan data sensor dan lain-lain. Mereka membutuhkan pengujian QA untuk menghindari regressions, dan mereka perlu mendokumentasikan kasus yang gagal.

Patologi digital

Kasus penggunaan lain yang menarik untuk AI/ML yang juga bergelut dengan banjir data dan kebutuhan untuk menggunakan data dengan lebih baik adalah patologi digital. Sama seperti contoh lainnya, apa yang mereka butuhkan adalah kemampuan untuk menggunakan data ini dengan lebih baik sehingga mereka dapat melakukan hal-hal seperti mendeteksi patologi secara otomatis dalam sampel jaringan, melakukan diagnosis jarak jauh dan sebagainya.

Tetapi penyimpanan saat ini membatasi penggunaan. Gambar dengan resolusi yang berguna terlalu besar untuk disimpan secara ekonomis. Namun, penyimpanan objek yang cepat akan memungkinkan kemampuan baru – seperti bank gambar yang dapat digunakan sebagai sumber daya pelatihan kunci dan penggunaan kurva pengisi ruang untuk menamai/menyimpan dan mengambil gambar multiresolusi dalam penyimpanan objek. Ini juga memungkinkan penandaan metadata yang dapat diperluas dan fleksibel, yang membuatnya lebih mudah untuk mencari dan memahami informasi ini.

Beban kerja AI memerlukan pendekatan baru

Seperti yang kita lihat dalam tiga kasus di atas, sangat penting untuk dapat mengumpulkan dan mengatur sejumlah besar data yang terkait dengan beban kerja AI/ML. Set data sering mencapai skala multi-petabyte, dengan permintaan kinerja yang bisa menghabiskan seluruh infrastruktur. Ketika menangani set data pelatihan dan pengujian skala besar seperti ini, mengatasi bottleneck penyimpanan (masalah latensi dan/atau throughput) dan keterbatasan kapasitas adalah elemen kunci untuk kesuksesan.

Beban kerja AI/ML/DL memerlukan arsitektur penyimpanan yang dapat menjaga data mengalir melalui pipa, dengan kinerja I/O yang sangat baik dan kemampuan penskalaan kapasitas. Infrastruktur penyimpanan harus mengikuti permintaan yang semakin meningkat di semua tahap pipa AI/ML/DL. Solusinya adalah infrastruktur penyimpanan yang dibangun khusus untuk kecepatan dan skala tanpa batas.

Mengambil nilai

Tidak ada minggu yang berlalu tanpa cerita tentang potensi AI dan ML untuk mengubah proses bisnis dan kehidupan sehari-hari. Ada banyak kasus penggunaan yang jelas menunjukkan manfaat dari menggunakan teknologi ini. Kenyataan AI di perusahaan saat ini, bagaimanapun, adalah satu set data yang luar biasa besar dan solusi penyimpanan yang tidak dapat mengelola beban kerja besar ini. Inovasi di bidang otomotif, kesehatan, dan banyak industri lain tidak dapat maju sampai masalah penyimpanan diselesaikan. Penyimpanan objek yang cepat mengatasi tantangan penyimpanan data besar sehingga organisasi dapat mengambil nilai dari data ini untuk mendorong bisnis mereka maju.