Bruk av TV-serien «House» for å utvikle diagnostiske evner i AI

Diagnose av sjeldne sykdommer er en spesielt vanskelig utfordring for AI (som det er for mennesker), men populære språkmodeller som ChatGPT og Gemini viser lovende resultater når de trenes på diagnostiske tilfeller fra den populære medisinske dramaserien «House».

Nesten halvparten av alle studenter innen helsevitenskap ser regelmessig på medisinske dramaer som House, Grey’s Anatomy og Scrubs. Selv om dette materialet bare kan brukes til didaktiske formål med mye filtering og ramming, på grunn av risikoen for å spre farlig feilinformasjon, er standarden for forskning på dramaer med medisinske tilstander ganske høy (selv om nøyaktigheten varierer mellom produksjoner).

Det er ikke overraskende at leger ofte opprinnelse, rådgiver på og/eller skriver manuskript for medisinske dramaer. I slike tilfeller er omfattende medisinsk domenekunnskap gunstig ikke bare for å konvertere medisinske problemer nøyaktig, men også for å ideere forslag til nye og interessante handlinger.

En av de mest grundig forskede medisinske showene fra den nylige «gylne alderen» for TV er House (også kjent som House MD), hvor eksentrisiteten til hovedfiguren og de store fluktuasjonene i birollene, underholdende som de var, kom på andreplass til «sykdommen for uken».

I virkeligheten, av 177 episoder som ble sendt over åtte sesonger, ga House en flittig 176 diagnostiske casestudier. Selv om serien sluttet i 2012, var den allerede i bruk som et undervisningsverktøy i 2015, med en spesiell Dr. House-seminar som ga bedre resultater sammenlignet med standardseminar, selv om det å delta ikke ga noen studiepoeng:

Fra en studie i 2015, diverse grunner til at medisinstudenter ønsket å delta på et diagnostisk seminar som utnyttet informasjon fra TV-serien «House». Seminarene ble avholdt på et bevisst utfordrende tidspunkt, og ga ingen studiepoeng; likevel var initiativet en suksess. Kilde

Hus og AI

Bruken av House og andre forskjellige TV-serier har blitt bevist i flere studier å være en effektiv hjelpemiddel for læring, for medisinstudenter, men lite av denne tilnærmingen har blitt forsøkt så langt i en maskinlæringskontekst.

Nå har en ny artikkel fra Pennsylvania State University gjort et første forsøk i denne retningen, ved å utvikle en datasett som inneholder alle brukbare 176 House-casestudier, formulert i en narrativ-drevet diagnostisk struktur, og deretter evaluert på populære LLM-er fra OpenAI og Google.

Til tross for vanskeligheten med denne utfordringen (som kjennetegner ett av de vanskeligste feltene i biologiske vitenskaper), fant forskerne at nyere versjoner av ChatGPT og Gemini viste forbedring sammenlignet med eldre versjoner, hvilket indikerer at trenden for modellutvikling sannsynligvis vil gå effektivt inn i diagnostiske prosesser over tid.

Artikkelen sier:

‘Resultatene viser betydelig variasjon i ytelse, fra 16,48% til 38,64% nøyaktighet, med nyere modellgenerasjoner som viser en 2,3 ganger bedring. Mens alle modeller møter betydelige utfordringer med sjeldne sykdomsdiagnoser, indikerer den observerte forbedringen over arkitekturer mulige retninger for fremtidig utvikling.

‘Vår utdanningsvaliderte benchmark etablerer baseline-ytelsesmål for narrativ medisinsk resonnering og gir et offentlig tilgjengelig evalueringssystem for å fremme AI-assistert diagnoseforskning.’

Foruten å etablere ytelsesbaselinjer som fremtidige forsøk kan vurderes mot, merker forfatterne at den nye datasetten – som de gjør offentlig tilgjengelig – løser mangelen på narrativ prosess i eksisterende medisinske datasett, og er lett tilgjengelig, i motsetning til den lukkede kulturen av standard medisinske datasett.

Den nye studien heter Evaluering av store språkmodeller på sjeldne sykdomsdiagnoser: En kasusstudie som bruker House M.D., og kommer fra fire forskere ved Penn State*.

Data

For å fylle datasetten, brukte forfatterne offentlig tilgjengelig materiale fra den langetablerte House Wiki-fandomsiden. Narrativt innhold ble trukket ut og destillert ved hjelp av den populære Beautiful Soup-rammeverket, som kan trekke ut strukturert data fra HTML-kilden til websider.

Efter at de grunnleggende narrative ble innhøstet på denne måten, ble fire LLM-er brukt til å transformere utgangen til standardisert casestruktur. Modellene som ble brukt var GPT-4o mini; GPT-5 Mini; Gemini 2.5 Flash; og Gemini 2.5 Pro. Til slutt ble kvalitetsfiltrering brukt for å sikre at datasetten hadde passende klinisk detalj, og sammenfall med den nåværende tilstanden for kunst i medisinsk resonnering.

Forfatterne observerer at ‘foreldreløse’ sykdommer (dvs. sjeldne sykdommer) er underrepresentert i standard medisinske databaser; i visse tilfeller kan deres dekning i House-serien representere en uvanlig prosentdel av deres totale eksisterende dekning.

Forfatterne innrømmer at nytten av en datasource av denne typen må tempereres med forsiktighet i forhold til den kunstneriske lisensen som kan prioriteres på tidspunkter i utviklingen av medisinske dramaer:

‘Selv om vår datasett reflekterer begrensninger i fiksjonsinnhold, inkludert dramatisk overdrivelse og kompleks casusfokus, kan disse karakteristikkene være til nytte for evaluering ved å gi utfordrende grensetilfeller som tester modellrobusthet.

‘Den utdanningsvaliderte valideringen av House M.D. av medisinske fagfolk gir tillit til at trukkede scenarioer inneholder klinisk meningsfulle opplysninger som er egnet for AI-[evaluering].’

Eksempler fra datasettet generert for prosjektet.  Kilde

Tester

For å evaluere modellnøyaktighet på narrative diagnostiske oppgaver, designet forfatterne en enkel pipeline som kombinerer promptgenerering, modellinferens og scoring.

De fire ovennevnte LLM-ene ble testet, med hver modell konfigurert med temperatur satt til null (slik at det ble deterministisk i stedet for ‘kreativ’ utgang), og med en maksimal token-lengde på 1 500 – et tillatelse designet for å akkommodere kompleks diagnostisk resonnering. Ingen ekstra systemprompts ble brukt for å ramme spørsmålene videre.

Promptene selv fulgte en standard strukturert medisinsk casuspresentasjonsformat – den type seerne vil være mest kjent med fra medisinske dramaer når en ny pasient/sykdom blir introdusert, og en lege summerer en oversikt for andre leger (effektivt, selv om for seernes skyld).

Hver prompt presenterte en klinisk narrativ bestående av demografiske detaljer; en tidsline for symptomer; relevante medisinsk historie; og tidlige diagnostiske funn. Modellen ble briefet om å identifisere en enkelt primær diagnose, og å begrunne sin konklusjon med resonnering.

Hver modell genererte sin diagnostiske respons i en enkelt pass, uten noen iterative forbedring; og responsene ble samlet under konsistente forhold over alle 176 casene:

En illustrativ eksempel som viser en narrativ klinisk prompt og dens tilsvarende grunntruth-diagnose, som ble brukt for å teste Gemini 2.5 Pro. Kilde

For metrikker ble prediksjonene evaluert ved hjelp av en ‘fuzzy’ strengmatchingsprosess designet for å håndtere tvetydighet i medisinsk terminologi. Tilnærmingen brukte Pythons SequenceMatcher-bibliotek, med en likhetstrøskel på 0,8, som startet med eksakt substringsammenligning og falt tilbake til tokenvis sammenligning når nødvendig. Nøyaktighet ble beregnet som proporsjonen av caser klassifisert korrekt under disse betingelsene:

Den ‘fuzzy matching’-arbeidsflyten brukt av forskerne.

Forfatterne merker at fuzzy matching kunne bety at semantisk identiske diagnoser som bruker forskjellig terminologi kunne bli oversett, men presenterer sin tilnærming som den mest reproduserbare som kunne møte alle prosjektets begrensninger.

Resultater

Diagnostisk nøyaktighet varierte mye over modellene, med Gemini 2.5 Pro som utførte best med 38,64%, etterfulgt av GPT-5 Mini med 36,93%, Gemini 2.5 Flash med 32,95%, og GPT-4o Mini med 16,48%. Til tross for disse forskjellene, kjempet alle modeller med kravene til diagnostisk resonnering for sjeldne sykdommer:

Resultater for diagnostisk nøyaktighet over de fire modellene som ble testet.

Forfatterne merker også at ytelse varierte over sesonger av serien:

Variert nøyaktighet over de forskjellige sesongene av House, men uten noen åpenbar kurve eller klar årsak.

Artikkelen sier:

‘Sesong 1 oppnådde den høyeste nøyaktigheten på 56,52%, mens sesong 5 viste den laveste på 20,83%. Denne variasjonen antyder at diagnostisk kompleksitet varierer gjennom serien, med senere sesonger som potensielt kan inneholde mer utfordrende sjeldne sykdomsfall.

‘Likevel indikerer den relativt sterke ytelsen i sesong 8 (52,38%) at tidsmessig fremgang alene ikke fullt ut forklarer nøyaktighetsforskjeller, men snarere casus-spesifik diagnostisk kompleksitet synes å være den primære drivkraften.’

Modellene fungerte mer pålitelig når de diagnostiserte vanlige tilstander med gjenkjennelige symptomer, som meningitt, myocardinfarkt og lungeemboli – men kjempet konsekvent med sjeldne sykdommer som neurocysticercose og Erdheim-Chester-sykdom, samt komplekse autoimmuntilstander som systemisk lupus erythematosus og sarkoidose. Ytelse falt også på toksikologiske caser som krevde å koble eksponeringshistorie til kliniske tegn.

Forfatterne foreslår at variasjonen i nøyaktighet mellom modellene peker på meningsfulle forskjeller i arkitektur og treningsstrategi, med den sterkeste ytelsen til GPT-5 Mini og Gemini 2.5 Pro som indikerer at nyere generasjoner av LLM har bedre resonneringsmuligheter – selv om deres resultater fortsatt avslører klare begrensninger i håndtering av komplekse diagnostiske oppgaver.

Resultatene, hevder de, gir baseline-metrikker for narrativ-basert sjeldne sykdomsdiagnose, og indikerer sterkt at nåværende språkmodeller begynner å vise nyttige medisinske resonneringsmuligheter.

Resultatene, konkluderer artikkelen, viser en jevn fremgang mot klinisk anvendelige AI-støtteverktøy.

Selv om forskerne innrømmer at nøyaktighetsnivåene fortsatt er beskjedne, fokuserer benchmarket utelukkende på svært komplekse caser som vanligvis utfordrer selv trente leger, og evnen til å korrekt identifisere diagnosen i nesten 40% av disse vanskelige eksemplene peker på ekte resonneringsmulighet, og legger grunnlaget for fremtidige forbedringer gjennom målrettet finjustering, strukturert medisinsk kunnskapsintegrering eller hybrid resonneringsstrategier.

Konklusjon

Det finnes noen åpenbare farer i å gjenbruke TV-serienarrativer til reelle medisinske datasett – selv i tilfeller, som med House, hvor kiladematerialet har et høyt nivå av kvalifisert medisinsk bidrag og/eller tilsyn.

Det er interessant å merke seg at en typisk episode av House effektivt fungerer som en sammenfattningsmaskin for en rekke medisinske innføringer som kanskje ikke er direkte tilgjengelige på internettet for en gjennomsnittsperson, eller for datasourcer som presenterer informasjonen på en mye mer fragmentert og ikke-lineær måte.

Å ha en lege som faktisk skriver manuskriptet for en episode, som ofte skjedde med House, kunne brukes av forskerne som en form for ‘godkjenning’ av innholdet; men dette ignorerer faktum at kunstneriske overveielser kan ha påvirket presentasjonen av sykdommen i episoden.

Dette etterlater datasett i tilstanden til så mange andre potensielt nyttige datasourcer for trening: i behov av et ferskt lag av dyrt, kvalifisert menneskelig tilsyn.

* Vær oppmerksom på at denne svært korte artikkelen ikke følger den vanlige malen, og jeg har tilpasset dekningen for å møte dette.

Først publisert mandag, 17. november 2025