Munculnya Data Sintetis dan Mengapa Ini Akan Melengkapi Daripada Menggantikan Data Riil

Elon Musk baru-baru ini menyatakan bahwa kita telah kehabisan data manusia yang tersedia untuk melatih model AI. Peringatannya ini adalah komentar terbaru tentang kebutuhan sumber data baru jika AI ingin terus berkembang pesat. Di industri seperti kesehatan dan keuangan, peraturan privasi yang ketat membuat kekurangan data menjadi lebih akut.

Sementara data sintetis – sebuah solusi potensial untuk kekurangan ini – tidak baru, pentingnya terus tumbuh, seperti yang dibuktikan oleh gelombang merger dan investasi di bidang ini. Namun, ada ketidakpastian mendalam seputar penggunaan data sintetis, terutama risiko keruntuhan model, di mana kualitas output Model Bahasa Besar Multimodal (LLM) memburuk tanpa data dunia nyata untuk dilatih. Apakah masalah ini terbukti tidak dapat diatasi atau dapat dipecahkan mungkin memiliki dampak signifikan pada masa depan AI generatif (Gen AI).

Apa itu Data Sintetis dan Bagaimana Ini Dibuat?

Data sintetis dibuat secara buatan daripada dikumpulkan dari peristiwa nyata. Data sintetis yang dihasilkan AI sekarang adalah bentuk yang paling umum, yang melibatkan melatih model pada data dunia nyata untuk mendeteksi pola dan korelasi, kemudian menghasilkan data baru yang meniru sifat statistik ini.

LLM digunakan untuk menghasilkan berbagai jenis data sintetis, termasuk data terstruktur, seperti data tabular, dan data tidak terstruktur, seperti teks bebas, video, dan gambar. Berbagai metode digunakan, tergantung pada jenis data yang dihasilkan.

Misalnya, dua metode umum yang digunakan untuk menghasilkan data gambar sintetis adalah GAN dan model difusi. GAN menggunakan dua jaringan saraf: generator membuat versi buatan dari data nyata, sedangkan discriminator mengidentifikasi mana yang nyata versus yang dihasilkan. Bekerja bersama secara terus-menerus, generator mencoba “menipu” discriminator, terus-menerus memperbaiki realisme dan keragaman data buatan. Model difusi mengambil pendekatan yang berbeda, belajar untuk mengganggu data nyata kemudian membalik proses ini untuk “menghilangkan noise”nya. Setelah dilatih secara efektif, mereka dapat menghasilkan data sintetis audio dan visual berkualitas tinggi.

Pentingnya Data Sintetis yang Tumbuh

Telah lama ada minat pada data sintetis. Namun, dalam lima tahun terakhir, perkembangan pesat LLM telah meningkatkan kebutuhan akan data sintetis dan menciptakan sarana yang lebih efektif untuk menghasilkannya dalam skala besar. Akibatnya, penggunaan data sintetis melonjak.

Gartner memperkirakan bahwa data sintetis akan membuat 60% dari semua data yang digunakan untuk melatih LLM pada 2024, naik dari hanya 1% pada 2021. Ada alasan untuk percaya bahwa perkiraan ini secara umum akurat. Misalnya, model Phi-4 Microsoft, yang outperforms LLM lainnya meskipun lebih kecil, berhasil dilatih pada data sintetis yang sebagian besar. Sementara itu, insinyur Alexa Amazon menjelajahi penggunaan model “guru/murid” di mana model “guru” menghasilkan data sintetis yang kemudian digunakan untuk memperhalus model “murid” yang lebih kecil.

Pengadopsian yang luas ini dibayangi oleh langkah-langkah besar di pasar. Sektor data sintetis mengalami ledakan investasi pada 2021-22. Gretel AI dan Tonic.ai mengamankan putaran Serie B sebesar $50 juta dan $35 juta masing-masing. Ini diikuti oleh MOSTLY AI menutup putaran Serie B sebesar $25 juta dan Synthesis AI mengamankan $17 juta dalam pendanaan Serie A.

Lebih baru-baru ini, trennya adalah menuju akuisisi skala besar. Akuisisi NVIDIA atas Gretel ini musim semi akan mendukung pekerjaan raksasa teknologi ini di bidang ini. Begitu pula, perusahaan solusi AI SAS mengakuisisi startup data sintetis Hazy pada November 2024.

Firma analitik Cognilytica memperkirakan pasar untuk generasi data sintetis pada 2021 sekitar $110 juta. Firma ini memperkirakan akan mencapai $1,15 miliar pada 2027. Perkiraan lain memprediksi tingkat pertumbuhan tahunan sebesar 31% untuk sektor ini, karena tumbuh menjadi $2,33 miliar dalam nilai pada 2030.

Keruntuhan Model

Namun, potensi menarik dari data sintetis datang dengan kelemahan signifikan: keruntuhan model. Ini adalah fenomena di mana LLM yang dilatih hanya pada data sintetis mulai menghasilkan output yang kurang presisi atau kurang beragam.

Sementara data dunia nyata cenderung tinggi kompleksitas, data sintetis sering disederhanakan dan dikondensasikan oleh model. Misalnya, peneliti menemukan bahwa akurasi model yang dilatih untuk mendeteksi mole kanker dari foto terkait invers dengan jumlah data pelatihan sintetis. Studi terbaru oleh akademisi dari Oxford, Cambridge, Imperial College, dan Universitas Toronto menemukan bahwa menggunakan data model yang dihasilkan secara tidak disiplin menghasilkan “cacat irreversibel pada model yang dihasilkan.”

Lebih parah lagi, sebagian besar LLM adalah “black box”, membuatnya sulit untuk memahami bagaimana mereka akan merespons data sintetis. Peneliti dari Universitas Rice dan Stanford menyimpulkan bahwa tanpa beberapa data dunia nyata yang segar, “model generatif masa depan pasti memiliki kualitas (presisi) atau keragaman (recall) yang menurun secara progresif.”

Kebutuhan akan data dunia nyata yang berkelanjutan

Jelaslah, bahkan dengan meningkatnya permintaan akan data sintetis, kebutuhan akan data dunia nyata tetap ada. Bahkan, permintaan akan data dunia nyata berkualitas tinggi mungkin meningkat. Alasannya dua kali lipat. Pertama, data dunia nyata akan selalu diperlukan untuk melatih model AI yang kemudian menghasilkan data sintetis. Kedua, untuk menghindari keruntuhan model, perlu untuk terus menyinkronkan data sintetis dengan data dunia nyata.

Data Riil untuk Melatih Model AI yang Menghasilkan Data Sintetis

Seperti yang disebutkan sebelumnya, sebagian besar data sintetis saat ini dibuat menggunakan Gen AI. Dan model Gen AI ini harus dilatih pada data dunia nyata untuk menghasilkan data sintetis yang dapat digunakan. Itu karena mereka hanya dapat menghasilkan data sintetis dengan meniru pola dan sifat statistik dari dataset dunia nyata.

Pertimbangkan contoh baru-baru ini dari sebuah perusahaan asuransi yang dapat menggunakan data sintetis untuk menguji vendor yang berbeda tanpa mengompromikan data pelanggan yang sensitif. Untuk menghasilkan dataset sintetis ini, yang secara akurat meniru kenyataan, mereka harus menggunakan data dunia nyata mereka sendiri untuk melatih model AI yang kemudian menghasilkan data sintetis.

Data Riil untuk Mengurangi Risiko Keruntuhan Model

Ada beberapa strategi untuk mengurangi risiko keruntuhan model. Ini termasuk memvalidasi dan kemudian secara teratur meninjau dataset sintetis, dan memeriksa kualitas data sintetis sebelum digunakan dalam model generatif. Namun, pendekatan yang paling umum adalah untuk memdiversifikasi data yang digunakan dengan menggabungkan data sintetis dengan data manusia. Survei Gartner menemukan bahwa 63% responden lebih memilih menggunakan dataset sintetis sebagian, dengan hanya 13% mengatakan mereka menggunakan data sintetis sepenuhnya.

Even adding modest amounts of real-world data can significantly improve a model’s performance. Peneliti dari Universitas South California menemukan bahwa perusahaan dapat menggantikan hingga 90% dari data riil mereka dengan data sintetis tanpa melihat penurunan signifikan dalam kinerja. Namun, menggantikan 10% terakhir dari data manusia menghasilkan penurunan signifikan.

Kualitas juga penting, seperti yang diilustrasikan oleh kasus keberhasilan Microsoft dengan Phi-4. LLM ini dilatih pada data sintetis yang sebagian besar dihasilkan oleh GPT-4o. Namun, sebagian besar data pra-pelatihan – dataset umum yang digunakan untuk tahap pertama pelatihan sebelum model dihaluskan – adalah data dunia nyata yang dipilih dengan hati-hati, berkualitas tinggi, termasuk buku dan makalah penelitian.

Manfaat Potensial yang Dapat Dibawa oleh Data Sintetis

Ketika data sintetis digunakan dengan cerdas, dan digabungkan secara efektif dengan data dunia nyata, maka memiliki potensi untuk memecahkan enam masalah spesifik ketika datang ke data pelatihan AI: kelangkaan, aksesibilitas, homogenitas, bias, masalah privasi, dan biaya.

Kelangkaan Data

Ketika perusahaan AI berlomba untuk mendapatkan pangsa pasar dan mencapai yang baru, permintaan akan data untuk melatih LLM mereka meningkat. Data sintetis memiliki potensi untuk mengisi celah ini, setidaknya menurut penelitian Gartner. Namun, perlu dicatat bahwa menggunakan sejumlah besar data riil dalam dataset pra-pelatihan, dan untuk menyinkronkan untuk menghindari keruntuhan model, masih diperlukan.

Aksesibilitas Data

Semakin banyak, perusahaan teknologi besar bertindak sebagai penjaga gerbang ketika datang ke data, menciptakan hambatan bagi pemain yang lebih kecil. Data sintetis memiliki potensi untuk mendemokratisasi AI generatif dengan membuat volume data pelatihan yang besar terjangkau dan dapat diakses. Namun, ini tidak akan menghilangkan tanggung jawab perusahaan teknologi besar untuk meningkatkan akses ke data dunia nyata, karena masih diperlukan untuk melatih model yang menghasilkan data sintetis.

Homogenitas Data

Dalam beberapa kasus niche, seperti melatih AI untuk mengemudi otonom, dataset dunia nyata terlalu homogen. Dalam kasus mengemudi, pengembang dapat menghasilkan data sintetis untuk mengisi celah dalam data untuk situasi yang tidak biasa. Ini kemudian memungkinkan model untuk melatih kejadian langka di jalan.

Bias

Beberapa dataset dunia nyata mengandung bias bawaan, sehingga data sintetis dapat dihasilkan untuk memastikan model AI menerima gambaran yang lebih seimbang. Misalnya, di bidang keuangan, Otoritas Jasa Keuangan UK (FCA) telah berargumen bahwa data sintetis memiliki potensi untuk mengimbangi bias potensial yang disebabkan karena kelompok tertentu kurang terwakili dalam dataset manusia.

Privasi

Di sektor seperti kesehatan dan keuangan, persyaratan privasi membuat kekurangan data menjadi lebih akut. Dengan data sintetis, perusahaan dapat membangun dataset pelatihan untuk model mereka yang mengandung data niche tanpa mengompromikan privasi pelanggan. Namun, seperti laporan yang dipesan oleh Royal Society UK telah menunjukkan dengan referensi ke data sintetis dalam penelitian medis, ada asumsi bahwa data sintetis “secara inheren pribadi.” Ini adalah “kesalahpahaman.” Seperti yang ditekankan oleh peneliti, data sintetis dapat bocorkan informasi tentang data yang dihasilkannya.

Secara khusus, model yang dilatih pada data sensitif rentan terhadap serangan balik model, di mana peretas dapat merekonstruksi bagian dari dataset asli.

Biaya

Umumnya, data sintetis dihasilkan dengan biaya yang lebih rendah daripada data dunia nyata. Ini juga datang dengan label, yang menghemat waktu dan biaya. Pada beberapa proyek pelatihan AI, hingga 80% dari proyek dihabiskan untuk persiapan data, termasuk pelabelan. Ini menjelaskan mengapa perusahaan khusus telah muncul untuk menyediakan tenaga kerja dengan biaya rendah untuk memenuhi kebutuhan pemrosesan data raksasa Silikon.

Melengkapi Daripada Menggantikan Data Riil

Manfaat data sintetis ini dapat dimanfaatkan, asalkan tidak dianggap sebagai pengganti data riil. Sebaliknya, perannya harus melengkapi dataset riil, menyediakan cara untuk meningkatkan skala poin data yang tersedia.

Untuk konteks, LLM mendatang Meta, LLAMA Behemoth, sedang dilatih pada 30 triliun poin data. Jelas, menemukan data dunia nyata pada skala ini sangat menantang, jika tidak mustahil. Namun, seperti yang telah disebutkan, menggunakan data dunia nyata masih merupakan keharusan, baik untuk melatih model yang menghasilkan data sintetis atau untuk menyinkronkan dengan data sintetis untuk memastikan akurasi dan menghindari keruntuhan model. Pada skala LLM sekarang bekerja, bahkan jika data sintetis membuat sebagian besar data pelatihan yang digunakan, masih akan ada permintaan yang substansial untuk data dunia nyata. Dan ini berarti akan tetap ada masalah kompleks untuk diselesaikan seputar pengawasan, akses, bias, biaya, dan waktu.