Mengaktifkan Penerapan AI di Dunia Nyata dalam Skala Besar

Oleh Brad King, field CTO, Scality

Alat-alat AI/ML dan big data memiliki benang merah yang sama – mereka membutuhkan data, dan mereka membutuhkan banyak data. Kebijaksanaan konvensional mengatakan bahwa semakin banyak, semakin baik. Analis memprediksi bahwa penciptaan data global akan tumbuh menjadi lebih dari 180 zettabytes pada tahun 2025 – dan pada tahun 2020, jumlah data yang dibuat dan direplikasi mencapai rekor baru sebesar 64,2 zettabytes.

Data tersebut sangat berharga – seringkali tidak dapat digantikan dan terkadang mewakili peristiwa satu kali atau sekali seumur hidup. Data ini perlu disimpan dengan aman dan secara terjamin; dan sementara diperkirakan bahwa hanya sebagian kecil dari data baru ini yang disimpan, permintaan kapasitas penyimpanan terus tumbuh. Faktanya, basis yang dipasang dari kapasitas penyimpanan diperkirakan akan tumbuh dengan tingkat pertumbuhan tahunan sebesar 19,2% antara tahun 2020 dan 2025, menurut peneliti di Statista.

Dengan lebih banyak data yang dibuat – terutama oleh beban kerja AI/ML ini – organisasi membutuhkan lebih banyak penyimpanan, tetapi tidak semua solusi penyimpanan dapat menangani beban kerja yang intensif dan besar ini. Apa yang dibutuhkan adalah pendekatan baru untuk penyimpanan. Mari kita lihat bagaimana organisasi mengatasi tantangan ini melalui tiga contoh kasus.

Industri perjalanan

Sementara banyak dari kita baru saja terbiasa bepergian lagi setelah lebih dari satu tahun lockdown, industri perjalanan berusaha untuk kembali ke masa sebelum pandemi dengan cara yang besar. Dan ini membuat pentingnya data – terutama, penerapan dan penggunaan data yang relevan – menjadi semakin penting.

Bayangkan apa yang bisa Anda lakukan dengan pengetahuan tentang di mana sebagian besar pelancong udara di dunia akan bepergian besok atau di mana mereka akan pergi. Untuk biro perjalanan, misalnya, itu akan menjadi sangat besar.

Tetapi organisasi perjalanan ini menghadapi begitu banyak data sehingga menyortir data untuk mengetahui apa yang bermakna menjadi prospek yang luar biasa. Sekitar satu petabyte data dihasilkan setiap hari, dan beberapa data diduplikasi oleh situs seperti Kayak. Data ini sensitif waktu, dan perusahaan perjalanan membutuhkan alat untuk mengelola skala ini lebih efektif.

Industri otomotif

Contoh lainnya berasal dari industri otomotif, yang tentu saja merupakan salah satu contoh kasus yang paling dibicarakan. Industri ini telah lama bekerja keras dengan alat bantu seperti lane minder, penghindar tabrakan, dan sebagainya. Semua sensor ini membawa sejumlah besar data. Dan, tentu saja, mereka mengembangkan, menguji, dan memverifikasi algoritma pengemudi otonom.

Apa yang dibutuhkan industri ini adalah cara yang lebih baik untuk memahami data yang disimpan sehingga mereka dapat menggunakannya untuk menganalisis insiden di mana sesuatu salah, mengkurasi output sensor sebagai kasus uji, menguji algoritma melawan data sensor, dan sebagainya. Mereka membutuhkan pengujian QA untuk menghindari kemunduran, dan mereka perlu mendokumentasikan kasus yang gagal.

Patologi digital

Contoh kasus lain yang menarik untuk AI/ML yang juga berjuang dengan banjir data dan kebutuhan untuk menggunakan data dengan lebih baik adalah patologi digital. Sama seperti contoh lainnya, apa yang mereka butuhkan adalah kemampuan untuk menggunakan data ini dengan lebih baik sehingga mereka dapat melakukan hal-hal seperti mendeteksi patologi pada sampel jaringan secara otomatis, melakukan diagnosis jarak jauh, dan sebagainya.

Tetapi penyimpanan saat ini membatasi penggunaan. Gambar dengan resolusi yang berguna terlalu besar untuk disimpan secara ekonomis. Namun, penyimpanan objek cepat akan memungkinkan kemampuan baru – seperti bank gambar yang dapat digunakan sebagai sumber daya pelatihan kunci dan penggunaan kurva pengisi ruang untuk menamai/menyimpan dan mengambil gambar multiresolusi dalam penyimpanan objek. Ini juga memungkinkan penandaan metadata yang dapat diperluas dan fleksibel, yang membuatnya lebih mudah untuk mencari dan memahami informasi ini.

Beban kerja AI memerlukan pendekatan baru

Seperti yang kita lihat dalam tiga kasus di atas, sangat penting untuk dapat mengumpulkan dan mengatur sejumlah besar data yang terkait dengan beban kerja AI/ML. Set data sering mencapai skala multi-petabyte, dengan permintaan kinerja yang dapat menghabiskan seluruh infrastruktur. Ketika menangani set data pelatihan dan pengujian yang sangat besar, mengatasi bottleneck penyimpanan (masalah latensi dan/atau throughput) dan keterbatasan kapasitas adalah elemen kunci untuk kesuksesan.

Beban kerja AI/ML/DL memerlukan arsitektur penyimpanan yang dapat menjaga data mengalir melalui pipa, dengan kinerja I/O mentah yang sangat baik dan kemampuan penskalaan kapasitas. Infrastruktur penyimpanan harus mengikuti permintaan yang semakin meningkat di semua tahap pipa AI/ML/DL. Solusinya adalah infrastruktur penyimpanan yang secara khusus dibangun untuk kecepatan dan skala tanpa batas.

Mengambil nilai

Tidak ada satu minggu pun yang berlalu tanpa cerita tentang potensi AI dan ML untuk mengubah proses bisnis dan kehidupan sehari-hari. Ada banyak contoh kasus yang jelas menunjukkan manfaat menggunakan teknologi ini. Kenyataan AI di perusahaan saat ini adalah satu set data yang sangat besar dan solusi penyimpanan yang tidak dapat mengelola beban kerja yang sangat besar ini. Inovasi di bidang otomotif, kesehatan, dan banyak industri lain tidak dapat melangkah maju sampai masalah penyimpanan diselesaikan. Penyimpanan objek cepat mengatasi tantangan penyimpanan data besar sehingga organisasi dapat mengambil nilai dari data ini untuk memajukan bisnis mereka.