Membersihkan Data Kacau Kami: Bagaimana AI Mengubah Permainan

Kami tenggelam dalam data. Setiap platform, smartwatch, dan smartphone memecah kehidupan kita menjadi potongan-potongan yang dapat diukur, namun sebagian besar dari itu tetap tidak koheren dan tidak dapat digunakan.

Perusahaan mengetahui hal ini, yang mengapa raksasa teknologi Meta berinvestasi $14 miliar USD pada musim panas lalu untuk memperoleh 49% saham di perusahaan startup pelabelan data Scale AI, membuat langkah yang terencana dan strategis untuk memastikan kualitas data pelatihan yang tinggi untuk model AI-nya.

Keandalan model bahasa besar bergantung sepenuhnya pada kualitas data yang diberikan – singkatnya, “sampah masuk, sampah keluar.” Hari ini, namun, tantangan nyata yang dihadapi perusahaan adalah mengubah banjir informasi mentah menjadi data yang dapat digunakan.

Solusi mungkin tersembunyi di tempat yang jelas: AI itu sendiri dapat membantu dengan menghasilkan strategi untuk melewati tugas yang membosankan dari pelabelan dataset besar atau menyaring spreadsheet yang tidak terbatas, mengubah kekacauan menjadi intelijen manusia yang dapat digunakan.

Ketika Data Menjadi Kacau: Biaya Tersembunyi untuk Perusahaan

Menurut penelitian Gartner dari 2020, kualitas data yang buruk menghabiskan biaya organisasi setidaknya $12,9 juta USD per tahun, mempengaruhi produktivitas dan menyebabkan keputusan yang tidak tepat dan pelaporan yang tidak akurat.

Konsekuensi dari data yang kacau semakin jelas di sektor seperti kesehatan. Catatan kesehatan yang tidak lengkap, detail tagihan, dan data yang tidak cocok di seluruh sistem dapat menyebabkan kesalahan diagnosis, kesalahan pengobatan, dan alokasi sumber daya yang tidak efisien. Dalam jangka panjang, ini meningkatkan biaya dan merusak kepercayaan pada sistem ini.

Sementara itu, di logistik, data yang tidak cocok di antara pemasok dan distributor dapat menyebabkan keterlambatan atau kekurangan stok. Alamat pengiriman yang salah atau catatan stok yang sudah ketinggalan zaman dapat memiliki efek bergelombang di seluruh rantai pasokan, menyebabkan melewatkan deadline dan pelanggan yang tidak puas.

“Dengan dapat memprediksi atau memahami apa yang dapat terjadi [di sepanjang rute] – berdasarkan data gabungan sebelumnya – Anda dapat benar-benar mengurangi ketidakefisienan ini,” Asparuh Koev, CEO perusahaan AI logistik Transmetrics, mengatakan saat berbicara dengan Unite AI.

Dalam istilah yang lebih praktis, data yang kacau sangat mahal. Aturan 1-10-100 menggambarkan hal ini: biaya $1 untuk memeriksa data saat dimasukkan, $10 untuk membersihkannya setelah itu, dan $100 jika tidak ada yang dilakukan.

Apa yang Dibawa Platform Berbasis AI ke Meja

Ketika bisnis bergumul dengan jumlah data yang kotor yang semakin meningkat, mereka berpaling ke AI untuk mencari solusi. Platform berbasis AI yang muncul sekarang mengotomatisasi proses pembersihan data, memastikan efisiensi biaya dan meningkatkan akurasi.

Robert Giardina, pendiri Claritype, salah satu platform seperti itu, menjelaskan proses AI:

“Menggabungkan data ke dalam format yang umum: bagian dari proses ini adalah mengubah setiap datum ke dalam format kanonik yang sesuai dengan bisnis.”

AI Claritype melampaui standardisasi sederhana, bagaimanapun. Platform perbaikan terawasi memungkinkan organisasi untuk melintasi batas sistem dalam mencari jawaban atas pertanyaan yang paling mendesak, menghancurkan silo.

“Sistem yang sebelumnya dipisahkan masing-masing memegang sepotong jawaban untuk pertanyaan yang melintasi seluruh bisnis,” Giardina mengatakan kepada Unite AI.

Jika pemasok kunci terkena keterlambatan pengiriman, misalnya, hanya dengan menghubungkan pemasok ke pesanan dan riwayat pelanggan dapat perusahaan menentukan pelanggan mana yang harus diberitahu terlebih dahulu tentang keterlambatan.

“Tujuan akhir kami adalah memperluas pemikiran terhubung ini untuk mempersatukan setiap potongan data di perusahaan sehingga kami dapat menjadikan setiap pertanyaan mudah dan segera dijawab,” Giardina mengatakan.

Pemikiran terhubung ini mewakili perubahan mental yang lebih luas yang terjadi di perusahaan saat ini, karena mereka beralih dari ad hoc pembersihan data ke tata kelola data sistematis. Daripada memperlakukan kualitas data sebagai perbaikan satu kali, organisasi mengembangkan proses terstruktur untuk memastikan konsistensi dan keandalan di seluruh sistem mereka.

Tata kelola data sekarang dianggap sebagai proses bisnis yang berharga, bukan hanya tugas IT. Dengan mengintegrasikan pengelolaan data ke dalam strategi keseluruhan mereka, perusahaan dapat membuat keputusan yang lebih baik dan memperoleh wawasan yang lebih berarti dari data mereka.

Bagaimana AI Membersihkan Data dan Tantangan yang Dihadapinya

Mengandalkan AI secara berlebihan dapat berbahaya. Bagi Giardina, “konversi data otomatis yang mengkhawatirkan adalah yang melampaui standardisasi ke dalam taksiran.”

Misalnya, singkatan dapat dengan mudah disalahartikan. “International Business Machines, Inc.” atau “I.B.M.” biasanya akan diubah menjadi “IBM”, tetapi jika konversi dilakukan secara otomatis dan “I.B.” secara tidak sengaja diubah menjadi “IBM”, itu dapat menyebabkan masalah besar bagi kedua perusahaan.

Data yang hilang dan tidak akurat adalah dua masalah paling umum, dan hanya mengandalkan AI untuk mengisi celah sesuai dengan konteks dapat dengan mudah berakhir dengan bencana. Seperti yang Giardina tunjukkan, “ketika efeknya dalam cara apa pun signifikan, kita membutuhkan manusia untuk menyetujui setiap taksiran.”

Mengimbangkan Otomatisasi dengan Wawasan Manusia

Data yang kacau menyoroti kelemahan yang dalam dalam cara organisasi menangani informasi. Untuk maju dan meningkatkan pengambilan keputusan, bisnis harus berhenti memandang data sebagai isu teknis murni dan beralih ke model tata kelola yang menggabungkan keahlian manusia, kesadaran etis, dan visi strategis jangka panjang.

Data yang lebih bersih menciptakan AI yang lebih efektif, yang pada gilirannya membantu meningkatkan kualitas data; siklus yang saling menguntungkan ini menjanjikan, tetapi juga mengingatkan bahwa otomatisasi saja tidak akan menyelesaikan masalah data yang kacau kita. Potensi ini hanya dapat direalisasikan dengan menggabungkan presisi algoritmik dengan penilaian manusia dan kesadaran akan bias yang dapat dimasukkan, memastikan transparansi dan kepercayaan yang lebih besar pada sistem yang kita bangun.

Alex Sandoval, CEO perusahaan AI kecerdasan manufaktur, Allie AI, juga menekankan bagaimana copilot AI generatif tidak berjalan pada algoritma saja, melainkan mengandalkan kefasihan manusia dalam logika pabrik.

“Penggunaan yang paling sukses hari ini tidak hanya tentang memberi makan model dengan data pengontrol logika program yang luas, catatan operator, dan protokol kepatuhan. Mereka bergantung pada jenis pekerja garis depan baru: yang dapat menerjemahkan antara perilaku mesin dan intuisi digital,” dia menyimpulkan.