Setiap Agen AI Dapat Berbicara. Sedikit yang Dapat Dipercaya

Kebutuhan akan agen AI di bidang kesehatan sangat mendesak. Di seluruh industri, tim yang sibuk dihantui oleh tugas-tugas yang memakan waktu dan menghambat perawatan pasien. Klinik terlalu sibuk, pusat panggilan pembayar terlalu sibuk, dan pasien ditinggalkan menunggu jawaban atas kekhawatiran segera.

Agen AI dapat membantu dengan mengisi kesenjangan yang mendalam, memperluas jangkauan dan ketersediaan staf klinis dan administratif serta mengurangi kelelahan staf kesehatan dan pasien. Tapi sebelum kita bisa melakukan itu, kita perlu memiliki landasan yang kuat untuk membangun kepercayaan pada agen AI. Kepercayaan itu tidak akan datang dari nada suara yang hangat atau kelancaran percakapan. Itu datang dari rekayasa.

Bahkan ketika minat pada agen AI melonjak dan judul berita mengumumkan janji AI yang beragam, pemimpin kesehatan – yang bertanggung jawab kepada pasien dan komunitas mereka – masih ragu untuk mengirim teknologi ini dalam skala besar. Perusahaan rintisan mempromosikan kemampuan agen yang berkisar dari mengotomatisasi tugas-tugas yang membosankan seperti penjadwalan janji temu hingga komunikasi pasien dan perawatan yang berorientasi pada sentuhan. Namun, sebagian besar dari mereka belum membuktikan bahwa interaksi ini aman.

Banyak dari mereka tidak akan pernah melakukannya.

Kenyataannya, siapa pun dapat membuat agen suara yang didukung oleh model bahasa besar (LLM), memberinya nada yang penuh kasih sayang, dan menskrip percakapan yang terdengar meyakinkan. Ada banyak platform seperti ini yang menjual agen mereka di setiap industri. Agen mereka mungkin terlihat dan terdengar berbeda, tetapi semuanya berperilaku sama – rentan terhadap halusinasi, tidak dapat memverifikasi fakta-fakta kritis, dan kekurangan mekanisme yang memastikan akuntabilitas.

Pendekatan ini – membangun wrapper yang sering terlalu tipis di sekitar LLM dasar – mungkin berhasil di industri seperti ritel atau hospitalitas, tetapi akan gagal di bidang kesehatan. Model dasar adalah alat luar biasa, tetapi sebagian besar bersifat umum; mereka tidak dilatih secara khusus pada protokol klinis, kebijakan pembayar, atau standar regulasi. Bahkan agen yang paling fasih yang dibangun di atas model ini dapat mengalami halusinasi, menjawab pertanyaan yang tidak seharusnya, mengarang fakta, atau gagal mengenali kapan seorang manusia perlu dibawa ke dalam loop.

Konsekuensi dari perilaku ini tidak teoritis. Mereka dapat membingungkan pasien, mengganggu perawatan, dan menghasilkan biaya rework manusia yang mahal. Ini bukanlah masalah kecerdasan. Ini adalah masalah infrastruktur.

Untuk beroperasi dengan aman, efektif, dan dapat diandalkan di bidang kesehatan, agen AI perlu lebih dari sekadar suara otonom di ujung telepon. Mereka harus dioperasikan oleh sistem yang direkayasa secara khusus untuk kontrol, konteks, dan akuntabilitas. Dari pengalaman saya membangun sistem ini, berikut adalah apa yang terlihat dalam prakteknya.

Kontrol Respon dapat Menghilangkan Halusinasi

Agen AI di bidang kesehatan tidak hanya dapat menghasilkan jawaban yang masuk akal. Mereka perlu memberikan jawaban yang benar, setiap saat. Ini memerlukan “ruang aksi” yang terkendali – sebuah mekanisme yang memungkinkan AI untuk memahami dan memfasilitasi percakapan alami, tetapi memastikan setiap respons yang mungkin dibatasi oleh logika yang disetujui sebelumnya.

Dengan parameter kontrol respon yang dibangun, agen hanya dapat merujuk pada protokol yang diverifikasi, prosedur operasional yang ditetapkan sebelumnya, dan standar regulasi. Kreativitas model digunakan untuk memandu interaksi daripada mengarang fakta. Ini adalah bagaimana pemimpin kesehatan dapat memastikan bahwa risiko halusinasi dihilangkan sepenuhnya – tidak dengan pengujian dalam pilot atau satu kelompok fokus, tetapi dengan merancang risiko dari awal.

Grafik Pengetahuan Khusus dapat Menjamin Pertukaran yang Dapat Dipercaya

Konteks dari setiap percakapan kesehatan sangat pribadi. Dua orang dengan diabetes tipe 2 mungkin tinggal di lingkungan yang sama dan sesuai dengan profil risiko yang sama. Kelayakan mereka untuk obat tertentu akan bervariasi berdasarkan riwayat medis mereka, pedoman perawatan dokter, rencana asuransi mereka, dan aturan formulari.

Agen AI tidak hanya memerlukan akses ke konteks ini, tetapi mereka juga perlu dapat bernalar dengannya secara waktu nyata. Grafik pengetahuan khusus menyediakan kemampuan tersebut. Ini adalah cara terstruktur untuk merepresentasikan informasi dari sumber tepercaya yang beragam yang memungkinkan agen untuk memverifikasi apa yang mereka dengar dan memastikan bahwa informasi yang mereka berikan kembali akurat dan dipersonalisasi. Agen tanpa lapisan ini mungkin terdengar terinformasi, tetapi mereka sebenarnya hanya mengikuti alur kerja yang kaku dan mengisi celah.

Sistem Tinjauan yang Kuat dapat Mengevaluasi Akurasi

Seorang pasien mungkin menggantung dengan agen AI dan merasa puas, tetapi pekerjaan untuk agen jauh dari selesai. Organisasi kesehatan memerlukan jaminan bahwa agen tidak hanya menghasilkan informasi yang benar, tetapi juga memahami dan mendokumentasikan interaksi. Itulah di mana sistem pemrosesan pasca-otomatis masuk.

Sistem tinjau yang kuat harus mengevaluasi setiap percakapan dengan tingkat pengawasan yang sama seperti yang dilakukan oleh seorang pengawas manusia dengan semua waktu di dunia. Ini harus dapat mengidentifikasi apakah responsnya akurat, memastikan informasi yang benar telah ditangkap, dan menentukan apakah tindak lanjut diperlukan. Jika sesuatu tidak benar, agen harus dapat menghubungi manusia, tetapi jika semuanya beres, tugas dapat diperiksa dari daftar dengan percaya diri.

Di luar tiga elemen dasar yang diperlukan untuk merekayasa kepercayaan, setiap infrastruktur AI agenik memerlukan kerangka kerja keamanan dan kepatuhan yang kuat yang melindungi data pasien dan memastikan agen beroperasi dalam batas yang diatur. Kerangka kerja itu harus mencakup kepatuhan ketat terhadap standar industri umum seperti SOC 2 dan HIPAA, tetapi juga harus memiliki proses yang dibangun untuk pengujian bias, penghapusan informasi kesehatan yang dilindungi, dan retensi data.

Safeguard keamanan ini tidak hanya memeriksa kotak kepatuhan. Mereka membentuk tulang punggung sistem yang dapat diandalkan yang dapat memastikan setiap interaksi dikelola pada tingkat yang diharapkan oleh pasien dan penyedia.

Industri kesehatan tidak memerlukan lebih banyak hypes AI. Ini memerlukan infrastruktur AI yang dapat diandalkan. Dalam kasus AI agenik, kepercayaan tidak akan diperoleh sebanyak itu akan direkayasa.