Pemimpin pemikiran

Resolusi Entitas Menjadi Infrastruktur AI, Bukan Sekadar Pembersihan Data

Steven Renwick
Tambahkan Unite.AI ke sumber pilihan Anda di Google
Poin utamaResolusi entitas beralih dari pembersihan berkala menjadi infrastruktur runtime karena…
Lihat selengkapnya
  • Resolusi entitas beralih dari pembersihan berkala menjadi infrastruktur runtime karena agen bertindak seketika berdasarkan identitas yang telah diresolusikan.
  • Agen dengan pengambilan augmentasi mewarisi catatan yang terfragmentasi atau salah digabungkan dan memperlakukan ambiguitas itu sebagai fakta yang sudah pasti.
  • Sebagian besar organisasi menerapkan agen otonom sementara hanya sedikit yang menganggap infrastruktur mereka benar-benar siap untuk mengaturnya.

Beberapa waktu yang lalu saya menyaksikan sebuah agen AI memberikan jawaban yang salah dengan percaya diri untuk alasan yang sangat membosankan. Sebuah perusahaan memiliki dua catatan untuk pelanggan korporat yang sama. Satu catatan berisi nama dagang lama dan kontak keuangan, sedangkan catatan lainnya berisi nama hukum baru yang diadopsi perusahaan setelah akuisisi, bersama dengan alamat penagihan yang berbeda. Agen tersebut ditanya pertanyaan sederhana: apakah akun ini dalam keadaan baik? Ia menemukan satu catatan, melihat tidak ada tagihan yang terlambat, dan mengatakan ya. Tagihan yang terlambat tersebut sebenarnya tercatat di bawah nama lain.

Tidak ada informasi yang dihalusinasikan. Model tersebut berpikir dengan jernih atas data yang diberikan. Data tersebut hanya kebetulan menggambarkan dua pelanggan di mana sebenarnya hanya ada satu di dunia nyata. Kesalahan tersebut tidak terletak pada model bahasa. Kesalahan tersebut terletak pada penggabungan data.

Saya telah menyadari bahwa ini adalah salah satu risiko yang paling diremehkan dalam AI perusahaan, dan salah satu yang paling sedikit dibahas. Kami berbicara tanpa henti tentang akurasi model, desain prompt, dan tata kelola. Kami berbicara jauh lebih sedikit tentang apakah sistem benar-benar tahu pelanggan, pemasok, atau akun dunia nyata mana yang menjadi sasaran tindakannya. Pertanyaan tersebut memiliki nama. Namanya disebut resolusi entitas, dan setelah enam puluh tahun berada di latar belakang, kini secara diam-diam berubah menjadi bagian dari infrastruktur yang hidup.

Masalahnya bergeser dari nanti menjadi sekarang

Selama sebagian besar hidupnya, “apakah dua catatan ini merupakan entitas yang sama?” merupakan pertanyaan pembersihan. Anda menjalankannya dalam batch, pada jadwal, di suatu tempat di dalam program manajemen data induk, gudang data, atau pipa analitik. Ini tidak pernah sempurna, tetapi ini dapat ditoleransi, karena outputnya adalah laporan yang dibaca seseorang minggu depan. Jika dua catatan untuk supplier yang sama tidak digabungkan, angka pengeluaran sedikit salah, seorang analis memperhatikannya, dan ini diperbaiki pada pemrosesan berikutnya. Sistem memiliki kelonggaran di dalamnya. Waktu menyerap kesalahan.

Sebuah agen AI menghilangkan kelonggaran tersebut. Ia mengubah waktu dalam pertanyaan dari “akhirnya” menjadi “sekarang.” Ketika agen akan menyetujui pengembalian, mengarahkan kasus, memperbarui profil, atau menjawab pertanyaan kepatuhan, entitas yang diselesaikan tidak lagi menjadi masukan untuk dasbor. Ia menjadi dasar tindakan. Biaya dari penggabungan yang salah berpindah dari angka yang sedikit salah ke sesuatu yang terjadi di dunia, segera, dan sering tanpa ada manusia dalam lingkaran untuk menangkapnya.

Itulah pergeseran yang patut dipertimbangkan. Masalah yang mendasarinya sudah lama dan dipahami dengan baik. Apa yang baru adalah bahwa kita telah menghubungkannya langsung ke sistem yang bertindak sendiri.

Sebuah masalah statistik 1960-an

Resolusi entitas tidak tiba dengan model bahasa besar. Ia tiba dengan kartu berlubang. Pada 1959, H. B. Newcombe dan rekan-rekannya menerbitkan sebuah makalah singkat di Science tentang penghubungan otomatis catatan kependudukan, yang menjelaskan bagaimana komputer dapat memutuskan apakah catatan kelahiran dan catatan pernikahan merujuk pada orang yang sama. Sebuah dekade kemudian, Ivan Fellegi dan Alan Sunter memberikan gagasan tersebut teori matematika formal, yang mendefinisikan tiga hasil yang masih dihasilkan oleh sistem pencocokan hari ini: sebuah tautan, sebuah non-tautan, dan kemungkinan keterkaitan yang perlu ditinjau manusia.

Ada detail dalam sejarah perkembangan ini yang patut diperhatikan, karena ini adalah bagian yang paling sering salah. Pencocokan catatan tidak pernah hanya pencocokan tepat pada alamat email atau ID yang dibagikan. Sejak awal, ini adalah probabilistik. Ini menimbang bukti bahwa dua catatan setuju pada nama keluarga, tanggal, tempat, dan menghasilkan skor, karena data yang dimasukkan manusia sering tidak rapi dan kunci yang tepat gagal terus-menerus. Resolusi entitas modern masih bekerja dengan cara ini. Ini menggabungkan aturan deterministik, di mana pengenal tetap yang sama menjadi penentu, dengan pencocokan probabilistik dan perkiraan berbasis pembelajaran mesin yang menangani kesalahan ketik, julukan, kolom yang tertukar, singkatan, dan sekitar selusin perbedaan kecil dalam cara orang atau perusahaan yang sama muncul di seluruh sistem. Sebuah tinjauan bidang ini yang baik menggambarkan garis yang tidak terputus dari catatan kependudukan 1950-an hingga metode clustering dan pembelajaran mesin yang digunakan sekarang.

Apa yang benar-benar berubah adalah kapan kita membutuhkan jawabannya. Peneliti menulis tentang meresolusikan entitas pada waktu kueri, bukan hanya sebelumnya, jauh sebelum gelombang AI saat ini. Saat itu, ini adalah optimisasi yang menarik. Sekarang, ini lebih dekat dengan persyaratan.

Mengapa agen mengubahnya menjadi infrastruktur

Sebagian besar sistem AI perusahaan tidak menjawab dari memori model. Mereka mengambil. Pola yang populer sebagai pembangkitan jawaban berbantuan pengambilan informasi (retrieval-augmented generation) membuat agen mengambil konteks relevan ketika pertanyaan diajukan dan menalar berdasarkan konteks itu. Ini, secara keseluruhan, adalah hal yang baik. Ini mengarahkan jawaban pada data Anda, bukan pada pelatihan model.

Tetapi ini membawa konsekuensi yang mudah untuk dilewatkan. Agen mewarisi apa pun yang langkah pengambilan berikan. Jika pengambilan mengembalikan pelanggan yang terpecah, tiga catatan parsial yang tidak pernah terhubung, agen akan berpikir tentang tiga pelanggan. Jika pengambilan mengembalikan penggabungan yang salah, dua perusahaan yang berbeda yang digabungkan menjadi satu profil, agen akan berpikir tentang satu. Ambiguitas yang sudah ada di sistem sumber langsung diteruskan dan disajikan kepada model sebagai fakta yang telah diselesaikan. Model tidak memiliki cara untuk mengetahui bahwa penggabungan tersebut salah, sama seperti Anda tidak akan mengetahuinya saat membaca ringkasan catatan yang tidak pernah Anda lihat.

Jadi, resolusi tidak dapat menjadi sesuatu yang dilakukan sebagai pemikiran belakangan yang berjalan sekali setiap triwulan dan mendarat di tabel terpisah. Entitas harus dirakit saat data dimasukkan, dan tampilan yang telah diselesaikan saat ini harus dapat diambil pada saat agen bertanya. Ini adalah ketergantungan waktu proses. Ini berperilaku jauh lebih seperti database atau layanan autentikasi daripada seperti proyek pembersihan data berkala, dan ini harus dirancang, dipantau, dan dipercaya dengan cara yang sama seperti Anda memperlakukan sistem lain yang aplikasi Anda panggil dalam waktu nyata.

Kesenjangan kesiapan yang belum dinamai dengan tepat

Industri sudah merasakan bahwa sesuatu hilang di sini. Indeks Kesiapan AI Cisco 2025 menemukan bahwa 83 persen organisasi berencana untuk menerapkan agen otonom, sementara hanya sekitar sepertiga merasa infrastruktur mereka benar-benar siap untuk mereka, dan hanya sekitar seperempat merasa dilengkapi untuk mengendalikan dan mengatur apa yang agen tersebut lakukan. Survei terbaru McKinsey tentang Keadaan AI menggambarkan celah yang serupa dari arah lain: sekitar 88 persen organisasi sekarang menggunakan AI dalam setidaknya satu fungsi, namun sebagian besar belum menskalakan AI di seluruh perusahaan.

Ketika orang menjelaskan celah tersebut, mereka cenderung merujuk pada dua istilah: kualitas data dan tata kelola. Keduanya penting, dan tidak ada yang opsional. Namun, ada pertanyaan yang lebih spesifik di balik keduanya, yang tidak dapat dijawab oleh data bersih dan terkelola dengan baik saja. Bisakah sistem mengetahui entitas dunia nyata mana yang dimaksud oleh catatan tertentu, di semua tempat di mana catatan tersebut hidup, sekarang? Anda dapat memegang data berkualitas tinggi di setiap sistem individual dan masih gagal dalam tes ini, karena kegagalan tidak hidup di dalam satu sistem. Kegagalan hidup di antara sistem, di mana pelanggan yang sama mengenakan tiga wajah yang sedikit berbeda.

Apa yang perlu diperiksa sebelum Anda membiarkan agen bertindak

Jika Anda memperlakukan resolusi entitas sebagai infrastruktur yang hidup, Anda dapat memeriksanya seperti infrastruktur. Mode kegagalan operasionalnya spesifik dan dapat diuji: identitas yang terpecah yang seharusnya satu, penggabungan catatan yang salah yang seharusnya tetap terpisah, aturan pemilihan nilai acuan yang kedaluwarsa dan terus mengutamakan alamat yang sudah diganti, pengenal persisten yang hilang, dan agen yang mewarisi ambiguitas sistem sumber seolah-olah ambiguitas itu adalah fakta yang sudah dipastikan.

Sebuah tes kesiapan yang praktis tidak memerlukan model baru atau kategori vendor baru. Kumpulkan himpunan acuan entitas yang keadaan sebenarnya benar-benar Anda pahami. Jalankan melalui jalur pengambilan yang sama yang digunakan agen, bukan salinan bersih yang dibuat untuk demo. Kemudian, ukur hal-hal yang benar-benar menentukan hasil: berapa banyak penggabungan yang salah dan pemisahan yang salah, bagaimana sistem menangani ambiguitas yang sebenarnya, di mana ambang kepercayaan berada, kapan sistem mengalihkan ke manusia daripada menebak, dan seberapa lancar sistem menyerahkan hasilnya kepada kontrol data induk dan tata kelola yang sudah ada. Jika tim tidak dapat menjawab pertanyaan-pertanyaan tersebut, agen bertindak berdasarkan identitas yang tidak dapat diverifikasi, dan kepercayaan pada outputnya salah tempat.

Tidak satu pun dari ini menggantikan manajemen data induk, tata kelola, platform data pelanggan, atau gudang data. Mereka menjawab pertanyaan yang berbeda, dan mereka tetap diperlukan. Tata kelola menentukan apa yang diizinkan untuk agen lakukan. Resolusi entitas menentukan terhadap siapa atau apa tindakan itu dilakukan. Yang pertama sudah matang di sebagian besar organisasi besar. Yang kedua adalah lapisan yang segera akan disadari banyak organisasi perlu hadir di samping yang pertama, dalam waktu nyata, saat mereka membiarkan agen bertindak daripada memberi nasihat.

Agen yang saya lihat tidak memerlukan model yang lebih pintar. Ia perlu mengetahui bahwa dua nama adalah satu pelanggan sebelum diizinkan untuk berbicara dengan percaya diri. Ketika kita memberi sistem ini wewenang yang sebenarnya untuk bertindak, disiplin yang selama enam puluh tahun bekerja di balik layar itu berhenti sekadar membersihkan data dan menjadi struktur penopang.

Steven Renwick adalah salah satu pendiri dan CEO dari Tilores (tilores.io), yang menyediakan resolusi entitas waktu nyata melalui API untuk tim AI dan data. Ia bekerja dengan pemimpin teknik dan data untuk menyelesaikan identitas pelanggan, pemasok, dan akun di seluruh sistem yang terfragmentasi.