Biaya Tinggi dari Data Kotor dalam Pengembangan AI

Tidak ada rahasia bahwa ada demam emas modern yang sedang berlangsung dalam pengembangan AI. Menurut Indeks Tren Kerja 2024 oleh Microsoft (MSFT ) dan Linkedin, lebih dari 40% pemimpin bisnis mengantisipasi merancang ulang proses bisnis mereka dari awal menggunakan kecerdasan buatan (AI) dalam beberapa tahun mendatang. Perubahan besar ini tidak hanya merupakan peningkatan teknologi, tetapi juga transformasi fundamental tentang bagaimana bisnis beroperasi, membuat keputusan, dan berinteraksi dengan pelanggan. Pengembangan cepat ini memicu permintaan akan data dan alat manajemen data pihak pertama. Menurut Forrester, 92% pemimpin teknologi berencana untuk meningkatkan anggaran manajemen data dan AI mereka pada 2024.

Dalam Survei Global McKinsey tentang AI terbaru, 65% responden mengindikasikan bahwa organisasi mereka secara teratur menggunakan teknologi AI generatif. Sementara adopsi ini menandai lompatan besar ke depan, juga menyoroti tantangan kritis: kualitas data yang memberi makan sistem AI ini. Dalam industri di mana AI yang efektif hanya sebaik data yang dilatih, data yang dapat diandalkan dan akurat menjadi semakin sulit ditemukan.

Biaya Tinggi dari Data Kotor

Data kotor bukanlah masalah baru, tetapi dampaknya diperbesar di era AI. Kembali pada 2017, sebuah studi oleh Massachusetts Institute of Technology (MIT) memperkirakan bahwa data kotor menghabiskan biaya perusahaan sebesar 15% hingga 25% dari pendapatan mereka. Pada 2021, Gartner memperkirakan bahwa data yang buruk menghabiskan biaya rata-rata $12,9 juta per tahun bagi organisasi.

Data kotor—data yang tidak lengkap, tidak akurat, atau tidak konsisten—dapat memiliki efek berantai pada sistem AI. Ketika model AI dilatih pada data berkualitas buruk, wawasan dan prediksi yang dihasilkan secara fundamental bermasalah. Ini tidak hanya melemahkan efektivitas aplikasi AI, tetapi juga menimbulkan risiko signifikan bagi bisnis yang mengandalkan teknologi ini untuk pengambilan keputusan kritis.

Hal ini menciptakan sakit kepala besar bagi tim sains data perusahaan yang harus semakin fokus sumber daya terbatas mereka pada membersihkan dan mengorganisir data. Dalam laporan keadaan teknik analitik terbaru yang dilakukan oleh DBT, 57% profesional sains data menyebutkan kualitas data yang buruk sebagai masalah utama dalam pekerjaan mereka.

Dampak pada Model AI

Dampak dari Data Kotor pada Pengembangan AI manifestasikan diri dalam tiga cara utama:

1. Akurasi dan Keandalan yang Berkurang: Model AI berkembang pada pola dan korelasi yang diperoleh dari data. Ketika data input ternoda, model menghasilkan output yang tidak dapat diandalkan; yang dikenal sebagai “halusinasi AI.” Ini dapat menyebabkan strategi yang salah, kegagalan produk, dan kehilangan kepercayaan pelanggan.
2. Pengamplifikasian Bias: Data kotor sering mengandung bias yang, jika tidak dicek, dapat tertanam dalam algoritma AI. Ini dapat mengakibatkan praktik diskriminatif, terutama di bidang yang sensitif seperti perekrutan, pemberian pinjaman, dan penegakan hukum. Sebagai contoh, jika alat perekrutan AI dilatih pada data perekrutan historis yang bias, maka alat tersebut mungkin secara tidak adil memfavoritkan beberapa demografi tertentu daripada yang lain.
3. Biaya Operasional yang Meningkat: Sistem AI yang bermasalah memerlukan penyesuaian dan pelatihan ulang yang konstan, yang menghabiskan waktu dan sumber daya tambahan. Perusahaan mungkin menemukan diri mereka dalam siklus yang berkelanjutan untuk memperbaiki kesalahan daripada berinovasi dan meningkatkan.

Datapocalypse yang Mendatang

“Kita sedang mendekati ‘titik balik’ – di mana konten yang dihasilkan non-manusia akan jauh melebihi jumlah konten yang dihasilkan manusia. Kemajuan dalam AI itu sendiri menyediakan alat baru untuk pembersihan dan validasi data. Namun, jumlah konten yang dihasilkan AI di web tumbuh secara eksponensial.

Ketika lebih banyak konten yang dihasilkan AI dipublikasikan ke web, dan konten tersebut dihasilkan oleh LLM yang dilatih pada konten yang dihasilkan AI, kita akan melihat masa depan di mana data pihak pertama dan tepercaya menjadi komoditas yang langka dan berharga.

Tantangan Penipisan Data

Proliferasi konten yang dihasilkan AI menciptakan beberapa tantangan industri utama:

• Kontrol Kualitas: Membedakan antara data yang dihasilkan manusia dan data yang dihasilkan AI menjadi semakin sulit, membuatnya lebih sulit untuk memastikan kualitas dan keandalan data yang digunakan untuk melatih model AI.
• Kepemilikan Hak Cipta: Ketika model AI secara tidak sengaja mengambil dan mempelajari konten yang dihasilkan AI, pertanyaan muncul tentang kepemilikan dan hak yang terkait dengan data, yang dapat menyebabkan komplikasi hukum.
• Implikasi Etis: Kurangnya transparansi tentang asal-usul data dapat menyebabkan masalah etis, seperti penyebaran informasi yang salah atau penguatan bias.

Layanan Data sebagai Fondasi

Semakin banyak, solusi Data-as-a-Service (DaaS) dicari untuk melengkapi dan meningkatkan data pihak pertama untuk tujuan pelatihan. Nilai sebenarnya dari DaaS adalah data itu sendiri yang telah dinormalkan, dibersihkan, dan dievaluasi untuk berbagai kasus penggunaan dan aplikasi komersial, serta standarisasi proses untuk sesuai dengan sistem yang mengonsumsi data. Ketika industri ini matang, saya memprediksi bahwa kita akan mulai melihat standarisasi ini di seluruh industri data. Kita sudah melihat dorongan untuk keseragaman dalam sektor media ritel.

Ketika AI terus meresap ke berbagai industri, pentingnya kualitas data hanya akan meningkat. Perusahaan yang memprioritaskan data bersih akan mendapatkan keunggulan kompetitif, sementara mereka yang mengabaikannya akan dengan cepat ketinggalan.

Biaya tinggi dari data kotor dalam pengembangan AI adalah masalah yang mendesak yang tidak dapat diabaikan. Kualitas data yang buruk melemahkan fondasi sistem AI, menyebabkan wawasan yang bermasalah, biaya yang meningkat, dan potensi jebakan etis. Dengan mengadopsi strategi manajemen data yang komprehensif dan memupuk budaya yang menghargai integritas data, organisasi dapat memitigasi risiko ini.

Di era di mana data adalah minyak baru, memastikan kemurniannya tidak hanya merupakan kebutuhan teknis, tetapi juga imperatif strategis. Bisnis yang berinvestasi pada data bersih hari ini akan menjadi mereka yang memimpin inovasi di masa depan.