Menggunakan Acara TV ‘House’ untuk Mengembangkan Kemampuan Diagnostik AI

Walaupun diagnosis penyakit langka merupakan tantangan yang sulit bagi AI (seperti halnya bagi manusia), model bahasa populer ChatGPT dan Gemini menunjukkan kinerja yang menjanjikan ketika dilatih dengan kasus diagnostik dari drama medis populer ‘House’.

Hampir setengah dari semua mahasiswa ilmu kesehatan secara teratur menonton drama medis seperti House, Grey’s Anatomy, dan Scrubs. Walaupun materi semacam ini hanya dapat digunakan untuk tujuan didaktik dengan banyak penyaringan dan kerangka, karena risiko penyebaran informasi yang salah, standar penelitian untuk drama yang menampilkan kondisi medis cenderung sangat tinggi (walaupun akurasi bervariasi di seluruh produksi).

Tidak mengherankan, dokter sering mengawali, memberi saran dan/atau menulis drama medis TV. Dalam kasus seperti itu, pengetahuan domain medis yang luas sangat menguntungkan tidak hanya untuk menggambarkan masalah medis dengan akurat, tetapi juga untuk mengidekan saran untuk cerita yang baru dan menarik.

Salah satu acara medis yang paling dipelajari dengan teliti dari ‘zaman keemasan’ TV baru-baru ini adalah House (juga dikenal sebagai House MD), di mana keanehan karakter utama dan fluktuasi besar dalam pemain pendukung, menghibur seperti itu, menduduki tempat kedua setelah ‘penyakit minggu ini’.

Faktanya, dari 177 episode yang ditayangkan selama delapan musim, House menyediakan 176 studi kasus diagnostik yang teliti. Walaupun acara tersebut berakhir pada 2012, pada 2015 sudah digunakan sebagai alat pengajaran, dengan seminar khusus Dr. House yang menawarkan hasil yang lebih baik dibandingkan dengan seminar biasa, walaupun menghadiri tidak menawarkan kredit mahasiswa:

Dari studi 2015, alasan yang beragam mengapa mahasiswa medis ingin menghadiri seminar diagnostik yang menggunakan informasi dari acara TV ‘House’. Seminar tersebut dijadwalkan pada waktu yang sengaja menantang, dan tidak menyampaikan kredit belajar; walaupun faktor-faktor tersebut, inisiatif tersebut sangat populer. Sumber

Rumah dan AI

Walaupun penggunaan House dan acara TV lainnya telah terbukti dalam beberapa studi sebagai alat bantu pembelajaran yang efektif untuk mahasiswa medis, sedikit upaya seperti ini yang telah dilakukan dalam konteks pembelajaran mesin.

Sekarang, sebuah makalah baru dari Universitas Negeri Pennsylvania telah membuat langkah awal dalam arah ini, dengan mengembangkan dataset yang menampilkan semua 176 studi kasus House yang dapat digunakan, diformulasikan ke dalam struktur diagnostik yang didorong oleh narasi, kemudian dievaluasi pada LLM populer dari OpenAI dan Google.

Walaupun kesulitan tantangan ini (yang merupakan salah satu bidang yang paling sulit dalam ilmu biologi), peneliti menemukan bahwa versi yang lebih baru dari ChatGPT dan Gemini menunjukkan perbaikan dibandingkan dengan versi yang lebih lama, menunjukkan bahwa tren evolusi pengembangan model kemungkinan akan bergerak efektif ke dalam proses diagnostik dari waktu ke waktu.

Makalah tersebut menyatakan:

‘Hasil menunjukkan variasi yang signifikan dalam kinerja, berkisar dari 16,48% hingga 38,64% akurasi, dengan generasi model yang lebih baru menunjukkan perbaikan 2,3 kali lipat. Walaupun semua model menghadapi tantangan yang substansial dengan diagnosis penyakit langka, perbaikan yang diamati di seluruh arsitektur menunjukkan arah yang menjanjikan untuk pengembangan di masa depan.

‘Benchmarked kami yang divalidasi secara edukatif membangun metrik kinerja baseline untuk penalaran medis naratif dan menyediakan kerangka evaluasi yang dapat diakses publik untuk penelitian diagnosis yang dibantu AI.’

Selain membangun baseline kinerja, penulis mencatat bahwa dataset baru – yang mereka buat tersedia untuk umum – memecahkan kekurangan proses naratif di dalam dataset medis yang ada, dan mudah diakses, berbeda dengan budaya yang terkunci dari dataset medis standar.

Data

Untuk mempopulasi dataset mereka, penulis menggunakan materi yang tersedia secara umum dari situs fandom House Wiki yang sudah lama ada. Konten naratif diekstrak dan disuling menggunakan kerangka Beautiful Soup yang populer, yang dapat mengekstrak data struktural dari sumber HTML halaman web.

Setelah narasi dasar dipanen dengan cara ini, empat LLM digunakan untuk mengubah output menjadi format kasus standar. Model yang digunakan adalah GPT-4o mini; GPT-5 Mini; Gemini 2.5 Flash; dan Gemini 2.5 Pro. Akhirnya, penyaringan kualitas diterapkan, untuk memastikan bahwa dataset memiliki detail klinis yang tepat, dan keselarasan dengan keadaan saat ini dalam penalaran medis.

Penulis mengamati bahwa ‘penyakit yatim’ (juga dikenal sebagai penyakit langka) kurang terwakili dalam database medis standar; dalam beberapa kasus, cakupan mereka dalam acara House mungkin mewakili persentase yang tidak biasa dari cakupan total yang ada.

Penulis mengakui bahwa utilitas sumber data semacam ini harus ditemper dengan kehati-hatian sehubungan dengan lisensi artistik yang mungkin diprioritaskan pada saat pengembangan drama medis:

‘Sementara dataset kami mencerminkan keterbatasan konten fiksi, termasuk eksagerasi dramatis dan fokus kasus yang kompleks, karakteristik ini mungkin bermanfaat untuk evaluasi dengan menyediakan kasus tepi yang menantang yang menguji ketahanan model.’

‘Validasi edukatif dari House M.D. oleh profesional medis memberikan kepercayaan bahwa skenario yang diekstrak mengandung informasi klinis yang bermakna yang sesuai untuk evaluasi AI.’

Contoh dari dataset yang dihasilkan untuk proyek.  Sumber

Uji Coba

Untuk mengevaluasi akurasi model pada tugas diagnostik naratif, penulis merancang pipeline sederhana yang menggabungkan generasi prompt, inferensi model, dan skoring.

Keempat LLM tersebut diuji, dengan setiap model dikonfigurasi dengan suhu yang disetel ke nol (memastikan deterministik daripada output ‘kreatif’), dan dengan panjang token maksimum 1.500 – ketentuan yang dirancang untuk mengakomodasi penalaran diagnostik yang kompleks. Tidak ada prompt sistem tambahan yang digunakan untuk membingkai kueri lebih lanjut.

Prompt itu sendiri mengikuti format presentasi kasus medis terstruktur standar – jenis yang pemirsa akan paling familiar dengan dari drama medis ketika pasien/penyakit baru diperkenalkan, dan seorang dokter merangkum gambaran umum untuk kepentingan dokter lain yang hadir (secara efektif, walaupun, untuk kepentingan pemirsa).

Setiap prompt menyajikan narasi klinis yang mencakup detail demografi; timeline gejala; riwayat medis yang relevan; dan temuan diagnostik awal. Model diberi tahu untuk mengidentifikasi diagnosis primer tunggal, dan untuk membenarkan kesimpulannya dengan penalaran.

Setiap model menghasilkan respons diagnostiknya dalam satu langkah, tanpa penyempurnaan iteratif; dan respons dikumpulkan di bawah kondisi yang konsisten di seluruh 176 kasus:

Contoh ilustratif yang menunjukkan prompt klinis naratif dan diagnosis kebenaran yang sesuai, seperti yang digunakan untuk pengujian Gemini 2.5 Pro. Sumber

Untuk metrik, prediksi dievaluasi menggunakan prosedur pencocokan string ‘fuzzy’ yang dirancang untuk memperhitungkan ambiguitas dalam terminologi medis. Pendekatan yang digunakan adalah perpustakaan SequenceMatcher Python, dengan ambang batas kesamaan 0,8, dimulai dengan pencocokan substring yang tepat dan jatuh kembali ke perbandingan token bila perlu. Akurasi dihitung sebagai proporsi kasus yang diklasifikasikan dengan benar di bawah kondisi ini:

Alur kerja ‘pencocokan fuzzy’ yang digunakan oleh peneliti.

Penulis mencatat bahwa pencocokan fuzzy bisa berarti bahwa diagnosis yang identik secara semantik yang menggunakan terminologi yang berbeda bisa terlewatkan, tetapi mereka menyajikan pendekatan mereka sebagai yang paling dapat direproduksi yang bisa memenuhi semua konstrain proyek.

Hasil

Akurasi diagnostik bervariasi secara luas di seluruh model, dengan Gemini 2.5 Pro melakukan yang terbaik dengan 38,64%, diikuti oleh GPT-5 Mini dengan 36,93%, Gemini 2.5 Flash dengan 32,95%, dan GPT-4o Mini dengan 16,48%. Walaupun perbedaan ini, semua model bergelut dengan tuntutan penalaran diagnostik untuk penyakit langka:

Hasil untuk akurasi diagnostik di seluruh empat model yang diuji.

Penulis juga mencatat bahwa kinerja bervariasi di seluruh musim acara:

Akurasi yang bervariasi di seluruh musim yang berbeda dari House, tetapi tidak dengan kurva atau alasan yang jelas.

Makalah tersebut menyatakan:

‘Musim 1 mencapai akurasi tertinggi sebesar 56,52%, sementara Musim 5 menunjukkan yang terendah sebesar 20,83%. Variasi ini menunjukkan bahwa kompleksitas diagnostik bervariasi di seluruh seri, dengan musim yang lebih baru mungkin menampilkan kasus penyakit langka yang lebih menantang.

‘Namun, kinerja yang relatif kuat di Musim 8 (52,38%) menunjukkan bahwa kemajuan waktu saja tidak sepenuhnya menjelaskan perbedaan akurasi; kompleksitas diagnostik kasus tampaknya menjadi pengemudi utama.’

Model melakukan lebih andal ketika mendiagnosis kondisi umum dengan gejala yang dapat dikenali, seperti meningitis, infark miokard, dan emboli paru – tetapi konsisten bergelut dengan penyakit langka seperti neurocysticercosis dan penyakit Erdheim-Chester, serta gangguan autoimun yang kompleks seperti lupus eritematosus sistemik dan sarkoidosis. Kinerja juga menurun pada kasus toksikologi yang memerlukan penghubungan riwayat paparan dengan tanda klinis.

Penulis menyarankan bahwa variasi akurasi antara model menunjukkan perbedaan yang signifikan dalam arsitektur dan strategi pelatihan, dengan kinerja yang lebih baik dari GPT-5 Mini dan Gemini 2.5 Pro menunjukkan bahwa generasi yang lebih baru dari LLM mendapat manfaat dari kemampuan penalaran yang ditingkatkan – walaupun hasil mereka masih menunjukkan keterbatasan yang jelas dalam menangani tugas diagnostik yang kompleks.

Hasil, mereka klaim, menyediakan metrik baseline untuk diagnosis penyakit langka berbasis narasi, menunjukkan kuat bahwa model bahasa saat ini mulai menunjukkan kemampuan penalaran medis yang berguna.

Lompatan kinerja dari GPT-4o Mini sebesar 16,48% hingga Gemini 2.5 Pro sebesar 38,64%, makalah tersebut menyimpulkan, menandai kemajuan yang stabil menuju alat dukungan AI yang dapat diterapkan secara klinis.

Walaupun peneliti mengakui bahwa tingkat akurasi masih modest, benchmark tersebut berfokus secara eksklusif pada kasus yang sangat kompleks yang secara teratur menantang bahkan dokter yang terlatih, dan kemampuan untuk mengidentifikasi diagnosis dengan benar dalam hampir 40% dari contoh yang sulit ini menunjukkan kapasitas penalaran yang sebenarnya, meletakkan dasar untuk perbaikan di masa depan melalui penyempurnaan yang ditargetkan, integrasi pengetahuan medis terstruktur, atau strategi penalaran hibrida.

Kesimpulan

Ada beberapa bahaya yang jelas dalam menggunakannya kembali narasi acara TV menjadi dataset medis dunia nyata – bahkan dalam kasus, seperti House, di mana materi sumber memiliki tingkat kontribusi medis yang memenuhi syarat dan/atau pengawasan.

Sangat menarik untuk dicatat bahwa satu episode House secara efektif bertindak sebagai mesin ringkas untuk serangkaian entri medis yang mungkin tidak dapat diakses langsung di internet untuk orang biasa, atau untuk sumber data yang menyajikan informasi dengan cara yang lebih terfragmentasi dan non-linier.

Memiliki seorang dokter yang sebenarnya menulis skenario untuk sebuah episode, seperti yang sering terjadi dengan House, bisa digunakan oleh peneliti sebagai bentuk ‘persetujuan’ atas konten; tetapi ini mengabaikan fakta bahwa pertimbangan artistik mungkin telah mempengaruhi presentasi penyakit dalam episode tersebut.

Ini meninggalkan data dalam kondisi banyak sumber data yang berguna lainnya untuk pelatihan: membutuhkan lapisan baru pengawasan manusia yang berkualifikasi dan mahal.

* Perlu diingat bahwa makalah singkat ini tidak mengikuti template yang biasa, dan saya telah menyesuaikan cakupan untuk menyesuaikannya.

Pertama kali diterbitkan pada hari Senin, 17 November 2025