Jalur Kritis untuk Mengotomatisasi Pengembangan Model

Tahap penting berikutnya untuk penelitian AI adalah mengotomatisasi pengembangan model. Setiap kemajuan dalam penalaran, bahasa, dan persepsi, dalam beberapa hal, merupakan langkah menuju tujuan tersebut. Namun, jalur menuju otomatisasi model memerlukan pemecahan serangkaian tantangan dasar yang harus dipecahkan terlebih dahulu.

Jembatan menuju tujuan tersebut melalui teknik mesin pembelajaran (ML) engineering. Salah satu kesalahpahaman umum adalah bahwa ML adalah teknologi pendahulu modern AI dan bahwa model fondasi telah menggantikannya. Ini salah memahami hubungan antara keduanya. Sebagai disiplin ilmu, ML mencakup semua aspek pelatihan model, termasuk pelatihan model fondasi di pusat AI saat ini. Namun, ada perbedaan yang signifikan dalam skala dan kompleksitas data.

Model ML tradisional biasanya dilatih pada dataset yang telah dikurasi dengan hati-hati, spesifik domain, dan berisi ribuan atau jutaan contoh. Model fondasi, di sisi lain, dilatih pada ribuan dataset secara bersamaan, diambil dari sumber yang sangat berbeda dengan format, provenance, dan kualitas yang tidak konsisten. Perbedaan ini dalam skala data dan heterogenitas merupakan alasan fundamental mengapa manajemen data menjadi lebih sulit dan lebih penting ketika model menjadi lebih kuat.

Hal ini membuat pemahaman data menjadi bottleneck sentral dalam mengotomatisasi pengembangan model. Sistem AI yang dapat menafsirkan data heterogen dan meningkatkan pipa yang dibangun di sekitarnya dapat, secara prinsip, meningkatkan proses pelatihannya sendiri dan membantu membangun model yang lebih baik. Sekali AI dapat meningkatkan proses pelatihan, perbaikan akan mengalir ke bawah ke setiap domain di mana AI diterapkan.

Tiga Penghalang yang Berdiri di Jalan

Penghalang pertama adalah fragmentasi konteks. Di hampir setiap organisasi, sinyal, eksperimen, definisi fitur, dan pengetahuan institusional yang relevan dengan masalah pemodelan tertentu tersebar di seluruh gudang data, notebook, dan pipa yang tidak pernah dirancang untuk berkomunikasi satu sama lain. Pertimbangkan sistem kesehatan yang membangun model deteksi sepsis. Kriteria klinis yang relevan dengan masalah tersebut, seperti ambang batas vital, nilai laboratorium, dan standar dokumentasi, mungkin hidup di modul yang sama sekali berbeda dari sistem catatan kesehatan elektronik.

Penghalang kedua adalah ambiguitas semantik. Makna tidak melekat pada data tetapi kontekstual dan organisasional. Nama bidang yang sama di dua database yang berbeda mungkin merujuk pada hal-hal yang berbeda. Konsep seperti pendapatan, pengguna aktif, dan churn rutin memiliki definisi yang berlaku dalam satu perusahaan. Bahkan konsep yang tampaknya sederhana seperti “pendapatan” dapat menyebabkan masalah. Tim penjualan mungkin mendefinisikan pendapatan sebagai nilai total kontrak yang ditandatangani pada kuartal ini, sementara tim keuangan mendefinisikannya sebagai uang yang sebenarnya diterima. Tim produk memiliki pemahaman yang berbeda, karena mereka mendefinisikan istilah tersebut untuk mengacu pada pendapatan yang diakui yang tersebar di seluruh periode langganan. Ketiganya mengambil dari bidang yang secara harfiah bernama “pendapatan” dalam sistem mereka masing-masing, tetapi laporan antar tim yang menggabungkan ketiganya akan mencampur tiga angka yang tidak kompatibel secara diam-diam.

Penghalang ketiga dan paling sistemik adalah ketiadaan memori organisasional yang didokumentasikan. Melacak provenance, memecahkan inkonsistensi, dan mempertahankan sinyal kualitas di seluruh sumber tersebut adalah masalah yang belum terpecahkan bahkan bagi tim manusia. Tanpa memori institusional tentang apa yang telah dicoba dan bagaimana baiknya pendekatan tersebut bekerja, setiap mekanisme otomatisasi model akan terus menemukan jalan buntu yang sama, membuang waktu dan sumber daya.

Pertimbangkan tim ilmu data di perusahaan ritel yang membangun model peramalan permintaan. Selama tiga tahun, sebelas analis telah menemukan secara independen bahwa data cuaca mentah merusak kinerja model selama minggu liburan, bahwa umpan inventori dari pemasok tertentu mengandung lag sistematis, dan bahwa pendekatan standar untuk menangani acara promosi menyebabkan kebocoran target. Ketika analis asli pindah ke tim lain atau meninggalkan perusahaan, pengetahuan itu pergi bersama mereka. Tanpa catatan institusional tentang apa yang telah dicoba, apa yang gagal dan mengapa, mekanisme otomatisasi model tidak dapat membangun pada pengalaman yang terkumpul. Ini hanya memulai dari nol, berulang kali, membuang waktu secara tidak perlu.

Apa yang Dibutuhkan Solusi Nyata

Sejarah otomatisasi ML adalah sejarah solusi parsial. AutoML menangani masalah penyempurnaan hiperparameter yang sempit tetapi tidak dapat menangani ketidakcocokan objek atau bernalar tentang niat organisasional. MLOps membuat pipa produksi lebih kuat dan lebih mudah dipantau, tetapi alat MLOps menjalankan strategi daripada mendefinisikannya. Agen pengkodean yang lebih baru mewakili langkah maju yang nyata, tetapi mereka telah mewarisi blind spot yang sama. Mereka menghasilkan kode dengan baik sambil beroperasi tanpa konteks organisasional atau memori institusional.

Sistem yang mampu melakukan teknik mesin pembelajaran yang benar-benar otonom akan memerlukan kemampuan yang tidak ada dalam alat yang ada. Sistem tersebut harus dapat memetakan tujuan bisnis ke objek model, yang merupakan terjemahan yang tidak dapat disimpulkan dari data saja. Sistem tersebut harus menemukan data relevan di seluruh sistem yang terfragmentasi dengan skema yang tidak konsisten, sambil secara otomatis mematuhi konstrain kepatuhan, tata kelola, dan keamanan, bukan mengharuskan manusia untuk mengelolanya sebagai proses terpisah. Sistem tersebut harus memiliki memori institusional untuk menampilkan pekerjaan yang ada, memahami mengapa eksperimen sebelumnya ditinggalkan, dan membangun pada apa yang rekan kerja sudah ketahui.

Jalur audit yang ketat yang melacak provenance di seluruh versi data, definisi fitur, dan komit kode harus menjadi mekanisme inti untuk menghubungkan sistem dengan apa yang sebenarnya terjadi. Dan sistem seperti itu akan memerlukan desain human-in-the-loop yang bijak. Bukan pilihan biner antara otomatisasi penuh dan kontrol manual penuh, tetapi dukungan untuk tingkat interaksi yang bervariasi tergantung pada tugas, taruhan, dan kepercayaan sistem pada setiap titik keputusan. Otomatisasi yang melewati penilaian manusia pada momen kritis bukanlah fitur dari AI yang dirancang dengan baik; sebaliknya, itu adalah mode kegagalan.

Apa yang belum diselesaikan oleh laboratorium adalah bagaimana menciptakan pemahaman semantik tentang data organisasional yang memahami apa yang dimaksud data dalam konteks institusional tertentu. MCP memecahkan masalah konektivitas. Ini belum memecahkan masalah makna. Ini tetap menjadi garis depan penelitian terbuka.

Apa yang Menjadi Mungkin

Implikasi ekonomi dari pemecahan masalah ini sangat signifikan. Pengembangan ML kustom saat ini memerlukan praktisi spesialis dan minggu-minggu iterasi, bahkan untuk masalah yang terdefinisi dengan baik. Sistem yang dapat menavigasi alur kerja penuh secara otonom dari definisi masalah hingga penemuan data, pengembangan model, dan evaluasi model akan mengubah persamaan tersebut secara dramatis, mengompresi timeline, dan membuka kasus penggunaan yang berharga yang saat ini terlalu intensif sumber daya untuk dikejar. Proyek yang sebelumnya memerlukan tim dengan keahlian ML yang dalam bekerja selama minggu sekarang dapat diselesaikan dalam beberapa hari tanpa harus menggunakan banyak waktu ahli ML yang langka.

Tantangan fragmentasi konteks, ambiguitas semantik, dan memori institusional yang hilang tidak unik untuk ML perusahaan. Mereka muncul di bawah konstrain yang berbeda dalam pembangunan pipa pelatihan model fondasi, di mana ribuan dataset heterogen harus diagregat, difilter, dan diperbarui secara iteratif. Sementara kedua pengaturan berbeda dalam struktur dan tujuan, keduanya terbatas oleh bottleneck yang sama: ketiadaan sistem yang dapat secara andal memulihkan konteks, melacak provenance, dan membangun pada pekerjaan sebelumnya di seluruh iterasi. Mengotomatisasi pengembangan model di perusahaan adalah langkah kritis pada jalur menuju sistem AI yang mampu memperbaiki dirinya sendiri.