Dokter Lebih Memilih Ringkasan Pulang Berbantuan AI dalam 95% Kasus Menurut Studi Stony Brook

Dokter penelaah lebih memilih ringkasan pulang yang dibuat dengan AI daripada ringkasan yang ditulis manusia dalam 95% rawat inap yang dievaluasi dalam studi Stony Brook University. Analisis retrospektif ini berfokus pada 60 pasien rawat inap di Departemen Penyakit Dalam dengan masa perawatan tujuh hingga 21 hari. Perawatan yang panjang dan banyaknya catatan klinis membuat peralihan ke layanan rawat jalan sangat menantang.

Temuan yang diterbitkan di npj Digital Medicine ini menunjukkan bahwa model bahasa besar dapat membantu klinisi menyusun dokumen kepulangan yang lebih lengkap dan mudah digunakan. Temuan tersebut juga menunjukkan mengapa verifikasi oleh manusia tetap penting: ringkasan yang dibuat dengan AI maupun yang ditulis manusia sama-sama mengandung kesalahan, dan penilaian yang lebih tinggi tidak membuktikan hasil pasien yang lebih baik.

Mengapa Ringkasan Pulang Sulit Disusun dengan AI

Ringkasan pulang menghubungkan perawatan yang diberikan di rumah sakit dengan klinisi yang bertanggung jawab atas perawatan selanjutnya. Dokumen ini perlu menjelaskan alasan pasien dirawat, perjalanan pengobatan, perubahan obat, masalah yang belum terselesaikan, dan rencana tindak lanjut. Bagi dokter layanan primer, penjelasan yang tidak ada atau langkah selanjutnya yang tidak jelas dapat membuat mereka harus menyusun kembali riwayat rawat inap dari catatan yang jauh lebih banyak.

Masa rawat yang lebih lama memperbesar masalah tersebut. Informasi menumpuk dalam catatan perkembangan pasien, konsultasi, laporan pencitraan, dan dokumentasi lainnya, yang sering kali berulang dan mencatat perubahan rencana perawatan. Ringkasan yang berguna harus mempertahankan gambaran klinis akhir sekaligus menjelaskan perkembangan pengambilan keputusan.

Pendekatan Stony Brook dirancang bersama klinisi dengan berfokus pada informasi yang dibutuhkan dokter penerima. Menurut pihak universitas, sistem tersebut menyusun catatan pasien menjadi draf ringkasan pulang dalam hitungan menit. Hal itu menggambarkan waktu pembuatan; dampaknya terhadap total waktu yang digunakan dokter untuk mendokumentasikan dan memverifikasi informasi masih perlu diuji dalam praktik klinis.

Aspek yang Mendapat Penilaian Lebih Tinggi dari Dokter

Studi ini membandingkan penilaian dokter rawat inap dan dokter layanan primer. Para penelaah memberi ringkasan AI nilai lebih tinggi dalam mutu keseluruhan, keterbacaan dan keringkasan, keakuratan fakta, serta kelengkapan. Mereka juga menemukan lebih sedikit detail klinis yang terlewat.

Pada skala penilaian lima poin yang digunakan, nilai rata-rata ringkasan AI untuk mutu keseluruhan adalah 4,71, dibandingkan dengan 3,16 untuk ringkasan yang ditulis manusia. Nilai rata-rata keakuratan fakta adalah 4,62 berbanding 3,73, sedangkan nilai rata-rata kelengkapan adalah 4,69 berbanding 3,42. Angka-angka ini merupakan penilaian dokter, bukan persentase pernyataan yang terbukti benar.

Grafik ini menunjukkan 120 penilaian untuk setiap jenis ringkasan pada aspek gabungan yang dinilai dokter rawat inap dan dokter layanan primer, serta 60 penilaian untuk setiap jenis ringkasan pada pertanyaan khusus layanan primer. Penelaah dari layanan primer memberi nilai lebih tinggi kepada ringkasan AI dalam hal memahami masa rawat, menjelaskannya kepada pasien dan pendamping, serta mendukung perawatan lanjutan.

Perbedaan tersebut penting karena orang yang menulis ringkasan pulang dan orang yang menggunakannya memiliki sudut pandang berbeda. Dokumen dapat menguraikan kejadian selama rawat inap secara menyeluruh, tetapi tetap membuat klinisi penerima tidak yakin tentang masalah yang belum terselesaikan atau alasan perubahan obat.

Cara Alur Kerja Perangkuman Menangani Catatan yang Panjang

Rilis kode untuk publik dari para peneliti memberikan gambaran tambahan tentang teknologinya. Alur kerja LangChain/LangGraph yang diekspor mengelompokkan catatan secara kronologis, menyusun ringkasan terstruktur, lalu menyempurnakan draf tersebut saat memproses bagian-bagian tambahan. Tahap terpisah mengekstrak temuan insidental dari catatan yang ditandai sebelum narasi akhir disusun.

Pendekatan bertahap ini mengatasi keterbatasan praktis model bahasa: catatan klinis yang panjang mungkin melebihi jumlah teks yang dapat diproses model sekaligus. Dengan meneruskan draf terstruktur, bagian-bagian catatan yang diproses secara berurutan dapat turut membentuk hasil akhir.

Ekspor publik tersebut juga mencatat pengenal sumber dan menghasilkan metadata kutipan bersama keluaran terstruktur dan naratif. Ekspor ini mencakup data demonstrasi sintetis, sementara repositori menyediakan hasil penilaian dan anotasi kesalahan yang telah dihapus identitasnya untuk dianalisis. Dengan demikian, alur kerja dapat ditelaah tanpa merilis catatan pasien asli kepada publik.

Lebih Sedikit Informasi Terlewat Bukan Berarti Risiko Klinis Hilang

Abstrak yang diterbitkan menyebutkan bahwa jumlah ketidakakuratan atau informasi terlewat yang dianotasi lebih rendah terutama karena lebih sedikit informasi yang terlewat. Abstrak tersebut melaporkan tidak ada perbedaan yang signifikan secara statistik antara kedua jenis ringkasan dalam perkiraan penelaah mengenai tingkat keparahan atau kemungkinan bahaya akibat kesalahan.

Temuan itu tidak membuktikan bahwa kedua pendekatan memiliki tingkat keamanan yang sama, ataupun bahwa draf AI siap dimasukkan ke dalam rekam medis pasien tanpa ditinjau. Evaluasi ini berfokus pada dokumen dan penilaian dokter; evaluasi tersebut tidak membuktikan adanya penurunan rawat inap ulang, bahaya terkait obat, atau dampak lain terhadap pasien.

Para penulis menekankan bahwa dokter harus memverifikasi dokumen sebelum digunakan. Petunjuk pengobatan, masalah medis yang belum terselesaikan, dan rekomendasi tindak lanjut merupakan inti tujuan dokumen tersebut dan tetap menjadi bagian penting yang dapat menimbulkan konsekuensi jika terjadi kesalahan atau ada informasi yang terlewat.

Apa yang Perlu Dilakukan Sebelum Penggunaan Klinis Rutin

“Hasil ini menunjukkan bahwa kecerdasan buatan dapat membantu penyusunan dokumentasi kepulangan pasien setelah menjalani perawatan rumah sakit yang kompleks,” kata Rachel Wong, MD, salah satu penulis koresponden dan profesor madya klinis di Stony Brook, dalam pengumuman universitas tersebut.

Salah satu penulis koresponden, Fusheng Wang, PhD, mengatakan bahwa langkah penelitian berikutnya mencakup penilaian akurasi, keamanan, penghematan waktu dokter yang sebenarnya, serta kesesuaiannya dengan alur kerja klinis. Menurut pihak universitas, penerapan percontohan dalam praktik sehari-hari di Stony Brook Medicine sedang dipertimbangkan.

Dipimpin oleh Tyler Osborne, kandidat doktor ilmu komputer, proyek interdisipliner ini melibatkan dokter, ilmuwan komputer, ahli informatika biomedis, dan pakar komunikasi. Studi ini memberikan bukti yang menjanjikan bahwa penyusunan draf ringkasan kepulangan pasien yang kompleks dapat dilakukan di bawah pengawasan tenaga klinis. Untuk memastikan bahwa pendekatan ini dapat diterapkan secara andal dalam penggunaan sehari-hari, proses peninjauan perlu dievaluasi bersama teks yang dihasilkan.