Resolusi Entitas Menjadi Infrastruktur AI, Bukan Pembersihan Data

Beberapa waktu yang lalu saya menyaksikan sebuah agen AI memberikan jawaban yang salah dengan percaya diri untuk alasan yang sangat membosankan. Sebuah perusahaan memiliki dua catatan untuk pelanggan korporat yang sama. Satu catatan berisi nama lama dan kontak keuangan, sedangkan catatan lainnya berisi nama hukum baru yang diadopsi perusahaan setelah akuisisi, bersama dengan alamat tagging yang berbeda. Agen tersebut ditanya pertanyaan sederhana: apakah akun ini dalam keadaan baik? Ia menemukan satu catatan, melihat tidak ada tagihan yang terlambat, dan mengatakan ya. Tagihan yang terlambat tersebut sebenarnya tercatat di bawah nama lain.

Tidak ada yang dihaluskan. Model tersebut berpikir dengan jernih atas data yang diberikan. Data tersebut hanya kebetulan menggambarkan dua pelanggan di mana sebenarnya hanya ada satu di dunia nyata. Kesalahan tersebut tidak terletak pada model bahasa. Kesalahan tersebut terletak pada penggabungan data.

Saya telah menyadari bahwa ini adalah salah satu risiko yang paling kurang dihargai dalam AI perusahaan, dan salah satu yang paling sedikit dibahas. Kami berbicara tanpa henti tentang akurasi model, desain prompt, dan tata kelola. Kami berbicara jauh lebih sedikit tentang apakah sistem benar-benar tahu entitas dunia nyata mana yang sedang diaktifkan. Pertanyaan tersebut memiliki nama. Namanya disebut resolusi entitas, dan setelah enam puluh tahun berada di latar belakang, kini secara diam-diam berubah menjadi bagian dari infrastruktur yang hidup.

Masalahnya berubah menjadi ketegangan

Selama sebagian besar hidupnya, “apakah dua catatan ini merupakan entitas yang sama?” merupakan pertanyaan pembersihan. Anda menjalankannya dalam batch, pada jadwal, di suatu tempat di dalam program manajemen data utama, gudang, atau pipa analitik. Ini tidak pernah sempurna, tetapi ini dapat ditoleransi, karena outputnya adalah laporan yang dibaca seseorang minggu depan. Jika dua catatan untuk supplier yang sama tidak digabungkan, angka pengeluaran sedikit salah, seorang analis memperhatikannya, dan ini diperbaiki pada jalur berikutnya. Sistem memiliki kelonggaran di dalamnya. Waktu menyerap kesalahan.

Sebuah agen AI menghilangkan kelonggaran tersebut. Ia mengubah ketegangan pertanyaan dari “akhirnya” menjadi “sekarang.” Ketika agen akan menyetujui pengembalian, mengarahkan kasus, memperbarui profil, atau menjawab pertanyaan kepatuhan, entitas yang diselesaikan tidak lagi memberi makan dasbor. Ia memberi makan tindakan. Biaya dari penggabungan yang salah berpindah dari angka yang sedikit salah ke sesuatu yang terjadi di dunia, segera, dan sering tanpa ada manusia dalam lingkaran untuk menangkapnya.

Itulah pergeseran yang patut dipertimbangkan. Masalah yang mendasarinya sudah lama dan dipahami dengan baik. Apa yang baru adalah bahwa kita telah menghubungkannya langsung ke sistem yang bertindak sendiri.

Sebuah masalah statistik 1960-an

Resolusi entitas tidak tiba dengan model bahasa besar. Ia tiba dengan kartu punched. Pada 1959, H. B. Newcombe dan rekan-rekannya menerbitkan sebuah makalah singkat di Science tentang penghubungan otomatis catatan vital, yang menjelaskan bagaimana komputer dapat memutuskan apakah catatan kelahiran dan catatan pernikahan merujuk pada orang yang sama. Sebuah dekade kemudian, Ivan Fellegi dan Alan Sunter memberikan gagasan tersebut teori matematika formal, yang mendefinisikan tiga hasil yang masih dihasilkan oleh sistem pencocokan hari ini: sebuah tautan, sebuah non-tautan, dan sebuah tautan yang mungkin yang perlu ditinjau oleh orang.

Ada detail dalam garis keturunan yang patut diperhatikan, karena ini adalah bagian yang paling sering salah. Pencocokan catatan tidak pernah hanya pencocokan tepat pada alamat email atau ID yang dibagikan. Sejak awal, ini adalah probabilistik. Ini menimbang bukti bahwa dua catatan setuju pada nama keluarga, tanggal, tempat, dan menghasilkan skor, karena data yang dimasukkan oleh manusia kotor dan kunci yang tepat gagal terus-menerus. Resolusi entitas modern masih bekerja dengan cara ini. Ini menggabungkan aturan deterministik, di mana pengidentifikasi yang stabil yang dibagikan menentukan, dengan pencocokan mesin pembelajaran probabilistik dan fuzzy yang menangani kesalahan ketik, julukan, bidang yang dipertukarkan, singkatan, dan dozen cara kecil yang sama orang atau perusahaan muncul berbeda di seluruh sistem. Sebuah survei lapangan yang baik menggambarkan garis yang tidak terputus dari catatan vital 1950-an hingga metode clustering dan pembelajaran mesin yang digunakan sekarang.

Apa yang benar-benar berubah adalah kapan kita membutuhkan jawabannya. Peneliti menulis tentang mengatasi entitas pada waktu kueri, bukan hanya sebelumnya, jauh sebelum gelombang AI saat ini. Saat itu, ini adalah optimisasi yang menarik. Sekarang, ini lebih dekat dengan persyaratan.

Mengapa agen mengubahnya menjadi infrastruktur

Sebagian besar sistem AI perusahaan tidak menjawab dari memori model. Mereka mengambil. Pola yang populer sebagai pembangunan yang ditingkatkan memiliki agen menarik konteks yang relevan pada saat pertanyaan dan berpikir di atasnya. Ini, secara keseluruhan, adalah hal yang baik. Ini mengarahkan jawaban pada data Anda, bukan pada pelatihan model.

Tetapi ini membawa konsekuensi yang mudah untuk dilewatkan. Agen mewarisi apa pun yang langkah pengambilan berikan. Jika pengambilan mengembalikan pelanggan yang terpecah, tiga catatan parsial yang tidak pernah terhubung, agen akan berpikir tentang tiga pelanggan. Jika pengambilan mengembalikan penggabungan yang salah, dua perusahaan yang berbeda yang digabungkan menjadi satu profil, agen akan berpikir tentang satu. Ambiguitas yang sudah ada di sistem sumber langsung diteruskan dan disajikan kepada model sebagai fakta yang telah diselesaikan. Model tidak memiliki cara untuk mengetahui bahwa penggabungan tersebut salah, sama seperti Anda tidak akan mengetahuinya saat membaca ringkasan catatan yang tidak pernah Anda lihat.

Jadi, resolusi tidak dapat menjadi sesuatu yang dilakukan sebagai pemikiran belakangan yang berjalan sekali setiap trimester dan mendarat di tabel terpisah. Entitas harus dirakit saat data dikonsumsi, dan tampilan yang telah diselesaikan saat ini harus dapat diambil pada saat agen bertanya. Ini adalah ketergantungan waktu proses. Ini berperilaku jauh lebih seperti database atau layanan autentikasi daripada seperti proyek pembersihan data berkala, dan ini harus dirancang, dipantau, dan dipercaya dengan cara yang sama seperti Anda memperlakukan sistem lain yang aplikasi Anda panggil dalam waktu nyata.

celah kesiapan yang tidak disebutkan dengan tepat

Industri sudah merasakan bahwa sesuatu hilang di sini. Indeks Kesiapan AI Cisco 2025 menemukan bahwa 83 persen organisasi berencana untuk mengirimkan agen otonom, sementara hanya sekitar sepertiga merasa infrastruktur mereka benar-benar siap untuk mereka, dan hanya sekitar seperempat merasa dilengkapi untuk mengendalikan dan mengatur apa yang agen tersebut lakukan. Survei terbaru McKinsey tentang Keadaan AI menggambarkan celah yang serupa dari arah lain: sekitar 88 persen organisasi sekarang menggunakan AI dalam setidaknya satu fungsi, namun sebagian besar belum menskalakan AI di seluruh perusahaan.

Ketika orang menjelaskan celah tersebut, mereka cenderung mencapai dua kata: kualitas data dan tata kelola. Keduanya penting, dan tidak ada yang opsional. Namun, ada pertanyaan yang lebih sempit yang berada di bawah keduanya yang data yang bersih dan terkelola dengan baik tidak menjawab sendiri. Bisakah sistem mengetahui entitas dunia nyata mana yang dimaksud oleh catatan tertentu, di semua tempat di mana catatan tersebut hidup, sekarang? Anda dapat memegang data berkualitas tinggi di setiap sistem individual dan masih gagal dalam tes ini, karena kegagalan tidak hidup di dalam satu sistem. Kegagalan hidup di antara sistem, di mana pelanggan yang sama mengenakan tiga wajah yang sedikit berbeda.

Apa yang perlu diperiksa sebelum Anda membiarkan agen bertindak

Jika Anda memperlakukan resolusi entitas sebagai infrastruktur yang hidup, Anda dapat memeriksanya seperti infrastruktur. Mode kegagalan operasionalnya spesifik dan dapat diuji: identitas yang terpecah yang seharusnya satu, penggabungan catatan yang salah yang seharusnya tetap terpisah, aturan kelangsungan hidup yang ketinggalan zaman yang terus mempromosikan alamat yang sudah usang, pengidentifikasi yang hilang, dan agen yang mewarisi ambiguitas sistem sumber sebagai jika itu adalah kebenaran yang telah diselesaikan.

Sebuah tes kesiapan yang praktis tidak memerlukan model baru atau kategori vendor baru. Kumpulkan himpunan entitas yang Anda benar-benar pahami. Jalankan melalui jalur pengambilan yang sama yang digunakan agen, bukan salinan bersih yang dibuat untuk demo. Kemudian, ukur hal-hal yang benar-benar menentukan hasil: berapa banyak penggabungan yang salah dan pemisahan yang salah, bagaimana sistem menangani ambiguitas yang sebenarnya, di mana ambang kepercayaan berada, kapan sistem mengalihkan ke manusia daripada menebak, dan bagaimana sistem dengan jelas menyerahkan kepada kontrol data utama dan tata kelola yang ada. Jika tim tidak dapat menjawab pertanyaan-pertanyaan tersebut, agen bertindak berdasarkan identitas yang tidak dapat diverifikasi, dan kepercayaan pada outputnya salah tempat.

Tidak satu pun dari ini menggantikan manajemen data utama, tata kelola, platform data pelanggan, atau gudang. Mereka menjawab pertanyaan yang berbeda, dan mereka tetap diperlukan. Tata kelola menentukan apa yang diizinkan untuk agen lakukan. Resolusi entitas menentukan siapa, atau apa, yang dilakukan. Yang pertama sudah matang di sebagian besar organisasi besar. Yang kedua adalah lapisan yang banyak yang akan segera menemukan mereka butuhkan di sampingnya, dalam waktu nyata, saat mereka membiarkan agen bertindak daripada memberi nasihat.

Agen yang saya lihat tidak memerlukan model yang lebih pintar. Ia memerlukan mengetahui bahwa dua nama adalah satu pelanggan sebelum diizinkan untuk berbicara dengan percaya diri. Ketika kita memberi sistem ini wewenang yang sebenarnya untuk bertindak, disiplin yang sunyi itu berusia enam puluh tahun berhenti menjadi pembersihan dan mulai menjadi beban yang menopang.