AI yang Mengingat Tanpa Berbagi Berlebihan: Arsitektur Privasi untuk Layanan Pribadi Generasi Berikutnya

Sebagian besar bisnis belum menyadari bahwa asisten AI pribadi telah mencapai tingkat yang baru. Sekarang mereka tidak hanya menjawab pertanyaan, mereka melakukan tindakan atas nama karyawan sungguhan: mereka membuat dan memantau reservasi, berkorespondensi, dan membuat keputusan terkait keuangan, jadwal, perjalanan, dan pertemuan.

Data yang AI operasikan juga telah berubah: dari “jenis musik apa yang Anda sukai” menjadi “di mana Anda, dengan siapa Anda, apa yang telah Anda setujui, dan berapa banyak yang Anda bayar untuk itu.” Ini adalah tingkat kerentanan yang secara kualitatif berbeda, dan kita absolut membutuhkan arsitektur baru. Saya menyebutnya “resi privasi” – tanda terima digital yang memungkinkan pengguna untuk melihat kapan saja apa yang tepatnya asisten tahu tentang mereka, dari mana asalnya, dan mengapa itu digunakan. Ini adalah harapan yang sama yang kita miliki hari ini untuk laporan bank: transparan, dapat diverifikasi, tersedia atas permintaan.

Mengapa AI yang aman telah menjadi sangat penting saat ini

Hingga waktu belakangan, asisten AI sebagian besar bersifat informatif: pencarian, ringkasan dokumen, petunjuk kode. Mereka jarang dapat bertindak tanpa keterlibatan orang yang mengendalikan proses.

Hari ini, kita melihat gambaran yang berbeda. Asisten terintegrasi dengan email, kalender, pesan, perbankan, dan layanan perjalanan; mereka dapat mengirim surat secara mandiri kepada mitra, membayar reservasi, atau mengubah penerbangan, bergantung pada konteks yang orang yang bertanggung jawab mungkin tidak menyadari.

Pada saat yang sama, pengguna awal dan paling aktif dari asisten tersebut adalah orang-orang yang biaya kesalahan sangat tinggi: manajer top dan CEO, klien HNW, profesional sektor keuangan dan manajemen modal. Bagi mereka, kehilangan privasi adalah risiko reputasi, hukum, dan keuangan langsung yang serius.

Ketika datang ke AI, masalah privasi tidak lagi dapat dianggap sebagai formalitas.

Data minimum, nilai lebih

Sebagian besar produk AI mengumpulkan data lebih banyak daripada yang mereka butuhkan untuk benar-benar berguna. Dalam praktik kami, kami menemukan bahwa sebagian besar besar data yang dikumpulkan oleh asisten AI biasa tidak pernah digunakan untuk menyediakan layanan. Jika kita ambil bisnis concierge, tiga hal cukup untuk asisten menyediakan layanan pribadi berkualitas tinggi. Pertama, preferensi yang relevan dengan tugas: bagaimana Anda bepergian, bagaimana Anda lebih suka berkomunikasi, apa batasan Anda dalam hal visa, anggaran, dan kewajiban keluarga.

Kedua, konteks permintaan saat ini: di mana, kapan, dengan siapa, untuk tujuan apa, batas waktu, dan risiko.

Terakhir, ia mengingat interaksi sebelumnya dalam tugas: sehingga tidak perlu bertanya pertanyaan yang sama, mengingat solusi yang dipilih, dan tidak mengulangi kesalahan.

Ini cukup untuk produk bekerja pada tingkat asisten pribadi yang baik. Tidak perlu arsip lengkap korespondensi, pelacakan lokasi terus-menerus, atau transaksi keuangan.

Asisten AI dan batas yang dapat diterima

Ada jenis data yang tidak memiliki tempat dalam asisten pribadi. Misalnya, data perilaku pasif: mendengarkan terus-menerus, pelacakan geolokasi terus-menerus tanpa permintaan, pemantauan layar atau input. Jika sistem mengumpulkan informasi tidak tentang apa yang Anda minta, tetapi tentang apa yang Anda lakukan secara umum, maka berhenti menjadi asisten dan menjadi pengawasan.

Juga, data tentang pihak ketiga yang tidak pernah berinteraksi dengan sistem tidak diperlukan. Misalnya, permintaan seperti “bantu mengatur pertemuan” tidak boleh berubah menjadi hak untuk membangun profil tamu, rute, dan kebiasaan mereka.

Ketiga, isi penuh komunikasi Anda tidak boleh disimpan dalam memori jangka panjang secara default. Asisten dapat memproses email tertentu jika Anda secara eksplisit meminta, tetapi itu tidak berarti sekarang memiliki hak untuk membaca email Anda.

Berguna berarti mengganggu: perangkap produk AI

Konteks tambahan benar-benar membuat produk lebih nyaman, karena semakin banyak sistem tahu, semakin akurat rekomendasi, semakin cepat respons, dan semakin besar efek wow dari menggunakannya.

Di sinilah kebutuhan alami muncul untuk menghubungkan kalender, email, obrolan, CRM, dan geodata sehingga layanan dapat memprediksi kebutuhan pengguna. Setiap koneksi pengguna tampaknya masuk akal dan dibenarkan.

Dalam industri concierge, menghubungkan kalender pelanggan dan riwayat perjalanan secara signifikan meningkatkan rekomendasi – sistem dapat memprediksi kebutuhan bahkan sebelum pelanggan mengungkapkannya. Pada saat yang sama, beberapa layanan tidak menyimpan konten komunikasi di luar tugas aktif dan tidak membangun profil perilaku berdasarkan data pasif.

Masalahnya adalah logika optimasi UX secara bertahap menggeser arsitektur ke arah pengumpulan data yang lebih banyak, penyimpanan yang lebih lama, dan akses yang lebih luas. Dan pada titik tertentu, garisnya hanya menghilang.

Masalah kedua terkait akses untuk dukungan pelanggan. Anda dapat membangun kriptografi yang kuat, lalu memberikan akses penuh kepada operator dukungan pelanggan untuk sejarah pelanggan untuk kepentingan, misalnya, membeli satu tiket. Dalam kenyataan, insiden sering terjadi karena akses internal yang tidak terkendali dan kesalahan manusia, bukan serangan eksternal.

Risiko ketiga adalah arsitektur multi-agents. Ketika agen mengirim konteks satu sama lain, data mulai mengalir antara komponen dengan cara yang tidak dirancang secara eksplisit. Jika satu agen memiliki izin yang terlalu luas, konteks ini diambil oleh rantai lebih jauh.

Resi privasi: standar berikutnya untuk AI

Ini adalah kesalahan untuk melihat privasi sebagai fungsi kepatuhan. Privasi yang sebenarnya bergantung pada apa yang kita simpan dan bagaimana kita membagikannya untuk tujuan yang dimaksud, bagaimana lama dan di bawah kondisi apa kita memperluasnya, siapa yang mendapatkan akses dan di bawah keadaan apa, termasuk orang dan agen AI, dan bagaimana pengguna mengendalikannya.

Sayangnya, sebagian besar layanan tidak memiliki jawaban sederhana untuk pertanyaan pengguna: apa yang sistem tahu tentang Anda, dapatkah itu diperbaiki atau dihapus sepenuhnya, dapatkah penggunaan data tertentu dilarang?

Oleh karena itu, penting untuk memperkenalkan resi privasi ketika pengguna dapat bertanya kepada asisten AI mereka apa yang tepatnya asisten tahu tentang mereka, mengapa mereka tahu itu, dan dari mana informasi itu berasal, dan langsung menerima jawaban yang jelas, dapat diverifikasi. Seperti yang kita harapkan dari laporan bank, kita akan segera mengharapkan transparansi dari sistem yang mengelola waktu, koneksi, dan modal kita.

Dasar teknis memori yang aman

Resi privasi tidak mungkin tanpa fondasi teknis yang kuat. Setidaknya tiga lapisan sangat penting: pertama, perlindungan data pada tingkat infrastruktur. Enkripsi harus menjadi prinsip inti, bukan formalitas. Data harus disimpan dengan kunci klien spesifik, bukan dengan kunci master tunggal untuk semua, transmisi harus melalui protokol modern, dan atribut sensitif harus dipisahkan secara logis dari metadata layanan.

Selain itu, setiap layanan, agen, dan operator hanya harus memiliki akses ke data yang diperlukan untuk melakukan tugas tertentu.

Terakhir, log akses yang tidak dapat diubah, audit setiap akses, dan kontrol teknis geografi penyimpanan dan pemrosesan sangat penting. Pengujian rutin skenario multi-agents harus dianggap sebagai kelas risiko terpisah.

Hanya dengan arsitektur ini, resi privasi menjadi mungkin: dengan cara ini, sistem benar-benar tahu apa yang diketahuinya dan dapat membuktikannya.

Siapa yang akan kalah, dan siapa yang akan menjadi standar?

Layanan dan produk yang memandang memori sebagai akumulasi satu arah akan kalah: kurang transparan untuk pengguna, tetapi lebih banyak sumber, lebih banyak konteks, dan penyimpanan yang lebih lama.

Model ini tampaknya menguntungkan dalam jangka pendek, tetapi tanpa batasan dan aturan yang jelas, logika ini berubah menjadi ekspansi yang tidak terkendali, karena data dihubungkan lebih cepat daripada mekanisme untuk menjelaskan dan mengendalikannya dapat ditempatkan.

Skandal yang melibatkan kebocoran data, penyalahgunaan asisten AI, atau pengungkapan informasi sensitif yang tidak tepat akan mempengaruhi semua produk dalam kategori ini. Pengguna akan menuntut lebih banyak informasi tentang transparansi, dan hanya perusahaan yang telah membangun keterjelasan, keterlacakan, dan kontrol pengguna ke dalam arsitektur mereka sebelumnya yang akan dapat mempertahankan kepercayaan.

Produk yang merancang sistem di sekitar gambaran yang instan dan dapat diverifikasi tentang apa yang AI tahu dan mengapa akan menjadi standar. Privasi harus menjadi bagian dari sistem dari awal – terutama ketika itu mempengaruhi kehidupan orang.