Setiap Agen AI Dapat Berbicara. Sedikit yang Dapat Dipercaya

Kebutuhan akan agen AI di bidang kesehatan sangat mendesak. Di seluruh industri, tim yang sibuk dengan tugas-tugas yang memakan waktu menghambat perawatan pasien. Klinikers dibebani dengan pekerjaan, pusat panggilan pembayar dipenuhi dengan permintaan, dan pasien ditinggalkan menunggu jawaban atas kekhawatiran segera.

Agen AI dapat membantu dengan mengisi kesenjangan yang mendalam, memperluas jangkauan dan ketersediaan staf klinis dan administratif, serta mengurangi kelelahan staf kesehatan dan pasien. Namun, sebelum kita dapat melakukannya, kita perlu memiliki dasar yang kuat untuk membangun kepercayaan pada agen AI. Kepercayaan itu tidak akan datang dari nada suara yang hangat atau kelancaran percakapan. Itu datang dari rekayasa.

Meskipun minat pada agen AI melonjak dan judul-judul berita mempromosikan janji agen AI, pemimpin kesehatan – yang bertanggung jawab kepada pasien dan komunitas mereka – masih ragu untuk menggelar teknologi ini secara besar-besaran. Perusahaan rintisan mempromosikan kemampuan agen yang berkisar dari otomatisasi tugas-tugas yang membosankan seperti penjadwalan janji temu hingga komunikasi pasien dan perawatan yang intensif. Namun, sebagian besar dari mereka belum membuktikan bahwa interaksi tersebut aman.

Banyak dari mereka tidak akan pernah melakukannya.

Kenyataannya, siapa saja dapat membuat agen suara yang didukung oleh model bahasa besar (LLM), memberinya nada yang peduli, dan menskrip percakapan yang terdengar meyakinkan. Ada banyak platform seperti ini yang menjual agen mereka di setiap industri. Agen mereka mungkin terlihat dan terdengar berbeda, tetapi semuanya berperilaku sama – rentan terhadap halusinasi, tidak dapat memverifikasi fakta-fakta kritis, dan kekurangan mekanisme yang memastikan akuntabilitas.

Pendekatan ini – membangun wrapper yang terlalu tipis di sekitar LLM dasar – mungkin berfungsi di industri seperti ritel atau hospitalitas, tetapi akan gagal di bidang kesehatan. Model dasar adalah alat luar biasa, tetapi sebagian besar bersifat umum; mereka tidak dilatih secara khusus pada protokol klinis, kebijakan pembayar, atau standar regulasi. Bahkan agen yang paling fasih yang dibangun di atas model ini dapat mengalami halusinasi, menjawab pertanyaan yang tidak seharusnya, mengarang fakta, atau gagal mengenali kapan seorang manusia perlu dilibatkan.

Konsekuensi dari perilaku ini tidak teoritis. Mereka dapat membingungkan pasien, mengganggu perawatan, dan menghasilkan biaya tambahan untuk pekerjaan manusia. Ini bukanlah masalah kecerdasan. Ini adalah masalah infrastruktur.

Untuk beroperasi dengan aman, efektif, dan dapat diandalkan di bidang kesehatan, agen AI perlu lebih dari sekadar suara otonom di ujung telepon. Mereka harus dioperasikan oleh sistem yang direkayasa secara khusus untuk kontrol, konteks, dan akuntabilitas. Dari pengalaman saya membangun sistem ini, berikut adalah apa yang terlihat dalam prakteknya.

Kontrol respons dapat menghilangkan halusinasi

Agen AI di bidang kesehatan tidak hanya dapat menghasilkan jawaban yang masuk akal. Mereka perlu menyampaikan jawaban yang benar, setiap saat. Ini memerlukan “ruang tindakan” yang dapat dikontrol – mekanisme yang memungkinkan AI untuk memahami dan memfasilitasi percakapan alami, tetapi memastikan setiap respons yang mungkin dibatasi oleh logika yang telah ditentukan sebelumnya.

Dengan parameter kontrol respons yang dibangun, agen hanya dapat merujuk pada protokol yang diverifikasi, prosedur operasional yang telah ditentukan sebelumnya, dan standar regulasi. Kreativitas model ini digunakan untuk memandu interaksi daripada mengarang fakta. Ini adalah bagaimana pemimpin kesehatan dapat memastikan bahwa risiko halusinasi dihilangkan sepenuhnya – tidak dengan menguji dalam pilot atau satu kelompok fokus, tetapi dengan merancang risiko dari awal.

Grafik pengetahuan khusus dapat memastikan pertukaran yang dipercaya

Konteks dari setiap percakapan kesehatan sangat pribadi. Dua orang dengan diabetes tipe 2 mungkin tinggal di lingkungan yang sama dan sesuai dengan profil risiko yang sama. Kelayakan mereka untuk obat tertentu akan bervariasi berdasarkan riwayat medis mereka, pedoman perawatan dokter, rencana asuransi mereka, dan aturan formulari.

Agen AI tidak hanya memerlukan akses ke konteks ini, tetapi mereka juga perlu dapat bernalar dengannya secara real-time. Grafik pengetahuan khusus menyediakan kemampuan tersebut. Ini adalah cara terstruktur untuk merepresentasikan informasi dari sumber-sumber tepercaya yang memungkinkan agen untuk memverifikasi apa yang mereka dengar dan memastikan bahwa informasi yang mereka berikan kembali akurat dan dipersonalisasi. Agen tanpa lapisan ini mungkin terdengar terinformasi, tetapi mereka hanya mengikuti alur kerja yang kaku dan mengisi celah.

Sistem tinjauan yang kuat dapat mengevaluasi akurasi

Seorang pasien mungkin menggantung telepon dengan agen AI dan merasa puas, tetapi pekerjaan agen jauh dari selesai. Organisasi kesehatan perlu memastikan bahwa agen tidak hanya menghasilkan informasi yang benar, tetapi juga memahami dan mendokumentasikan interaksi. Itulah di mana sistem pasca-pengolahan otomatis masuk.

Sistem tinjauan yang kuat harus mengevaluasi setiap percakapan dengan tingkat pengawasan yang sama seperti yang dilakukan oleh seorang pengawas manusia dengan semua waktu di dunia. Ini harus dapat mengidentifikasi apakah responsnya akurat, memastikan bahwa informasi yang benar ditangkap, dan menentukan apakah tindak lanjut diperlukan. Jika sesuatu tidak benar, agen harus dapat mengalihkan ke manusia, tetapi jika semuanya beres, tugas dapat dihapus dari daftar dengan percaya diri.

Di luar tiga elemen dasar yang diperlukan untuk merekayasa kepercayaan, setiap infrastruktur AI agenik memerlukan kerangka kerja keamanan dan kepatuhan yang kuat yang melindungi data pasien dan memastikan agen beroperasi dalam batas yang diatur. Kerangka kerja itu harus mencakup kepatuhan yang ketat terhadap standar industri umum seperti SOC 2 dan HIPAA, tetapi juga harus memiliki proses yang dibangun untuk pengujian bias, penghapusan informasi kesehatan yang dilindungi, dan retensi data.

Safeguard keamanan ini tidak hanya memeriksa kotak-kotak kepatuhan. Mereka membentuk tulang punggung sistem yang dapat dipercaya yang dapat memastikan setiap interaksi dikelola pada tingkat yang diharapkan pasien dan penyedia.

Industri kesehatan tidak memerlukan lebih banyak hipe AI. Industri kesehatan memerlukan infrastruktur AI yang dapat diandalkan. Dalam kasus agen AI, kepercayaan tidak akan diperoleh sebanyak itu akan direkayasa.