Het gebruik van de ‘House’ TV-serie om de diagnostische capaciteiten van AI te ontwikkelen

Hoewel de diagnose van zeldzame ziekten een bijzonder moeilijke uitdaging is voor AI (net als voor mensen), laten populaire taalmodellen als ChatGPT en Gemini veelbelovende prestaties zien wanneer ze getraind worden op diagnostische gevallen uit de populaire medische dramaserie ‘House’.

Bijna de helft van alle studenten in de gezondheidswetenschappen kijkt regelmatig naar medische dramas als House, Grey’s Anatomy en Scrubs. Hoewel dit soort materiaal alleen kan worden gebruikt voor didactische doeleinden met veel filtering en kadering, vanwege het risico van het verspreiden van gevaarlijke misinformatie, is de standaard van onderzoek voor dramas met medische aandoeningen over het algemeen vrij hoog (hoewel de nauwkeurigheid varieert across producties).

Het is niet verwonderlijk dat artsen vaak oorsprong, advies geven en/of schrijven voor medische dramas. In dergelijke gevallen is uitgebreide medische domeinkennis niet alleen gunstig om medische problemen nauwkeurig weer te geven, maar ook om suggesties te doen voor nieuwe en interessante verhaallijnen.

Een van de meest zorgvuldig onderzochte medische series van de recente ‘gouden eeuw’ van tv is House (ook bekend als House MD), waarin de excentriciteiten van de hoofdrol en de grote fluctuaties in de ondersteunende cast, hoe vermakelijk ze ook waren, op de tweede plaats kwamen na de ‘ziekte van de week’.

Feitelijk boden de 177 afleveringen van House die over acht seizoenen werden uitgezonden, 176 diagnostische casestudies. Hoewel de serie in 2012 eindigde, werd ze al in 2015 gebruikt als onderwijsinstrument, met een speciale Dr. House-seminar dat betere resultaten opleverde in vergelijking met standaardseminaronderwerpen, zelfs zonder dat studenten credits konden verdienen:

Uit een studie van 2015, diverse redenen waarom medische studenten een diagnostisch seminar wilden bijwonen dat informatie uit de ‘House’-tv-serie gebruikte. De seminars werden op een moeilijk tijdstip gepland en boden geen studiepunten; ondanks deze factoren was het initiatief een succes. Bron

Huis en AI

Hoewel het gebruik van House en andere diverse tv-series in meerdere studies is aangetoond als een effectief hulpmiddel voor het leren, is er voor medische studenten nog weinig van deze aanpak geprobeerd in een machine learning-context.

Nu heeft een nieuw onderzoek van de Pennsylvania State University een eerste stap in deze richting gezet door een dataset te ontwikkelen met alle bruikbare 176 House-casestudies, geformuleerd in een narratief-diagnostische structuur, en vervolgens geëvalueerd op populaire LLM’s van OpenAI en Google.

Ondanks de moeilijkheid van deze uitdaging (die een van de moeilijkste velden in de biologische wetenschappen kenmerkt), vonden de onderzoekers dat recentere versies van ChatGPT en Gemini een verbetering lieten zien ten opzichte van oudere versies, wat aangeeft dat de evolutionaire trend van modelontwikkeling waarschijnlijk effectief zal zijn in diagnostische processen in de loop van de tijd.

Het artikel zegt:

‘De resultaten laten een significante variatie in prestaties zien, variërend van 16,48% tot 38,64% nauwkeurigheid, met nieuwere modelgeneraties die een verbetering van 2,3 keer laten zien. Hoewel alle modellen aanzienlijke uitdagingen hebben met de diagnose van zeldzame ziekten, geeft de waargenomen verbetering over architectuur aan dat er veelbelovende richtingen zijn voor toekomstige ontwikkeling.

‘Onze onderwijsgevalideerde benchmark stelt basismetingen vast voor narratief medisch redeneren en biedt een openbaar toegankelijk evaluatiekader voor het bevorderen van AI-ondersteund diagnostisch onderzoek.’

Behalve het vaststellen van prestatiebasismetingen waartegen toekomstige inspanningen kunnen worden beoordeeld, merken de auteurs op dat de nieuwe dataset – die ze openbaar beschikbaar maken – het gebrek aan narratief proces in bestaande medische datasets oplost en gemakkelijk beschikbaar is, in tegenstelling tot de cultuur van standaardmedische datasets.

Het nieuwe onderzoek heet Evaluating Large Language Models on Rare Disease Diagnosis: A Case Study using House M.D en komt van vier onderzoekers van Penn State*.

Gegevens

Om hun dataset te bevolken, gebruikten de auteurs openbaar beschikbaar materiaal van de lang gevestigde House Wiki-fandomsite. Narratief inhoud werd geëxtraheerd en gedistilleerd met behulp van het populaire Beautiful Soup-framework, dat structurele gegevens kan extraheren uit de HTML-bron van webpagina’s.

Nadat de basisverhalen op deze manier waren geoogst, werden vier LLM’s gebruikt om de output om te zetten in gestandaardiseerde casusformaten. De gebruikte modellen waren GPT-4o mini; GPT-5 Mini; Gemini 2.5 Flash; en Gemini 2.5 Pro. Ten slotte werd kwaliteitsfiltering toegepast om ervoor te zorgen dat de dataset voldoende klinische details had en aansloot bij de huidige stand van de kunst in medisch redeneren.

De auteurs merken op dat ‘weesziekten’ (ook wel zeldzame ziekten genoemd) ondervertegenwoordigd zijn in standaardmedische databases; in sommige gevallen kan hun dekking in de House-show een ongebruikelijk percentage van hun totale bestaande dekking vertegenwoordigen.

De auteurs geven toe dat de bruikbaarheid van een gegevensbron van dit type getemperd moet worden met voorzichtigheid met betrekking tot de artistieke vrijheid die soms prioriteit kan krijgen bij de ontwikkeling van medische drama:

‘Hoewel onze dataset de beperkingen van fictief materiaal weerspiegelt, waaronder dramatische overdrijving en complexe casusfocus, kunnen deze kenmerken de evaluatie ten goede komen door moeilijke randgevallen te bieden die de robuustheid van het model testen.

‘De onderwijsgevalideerde validatie van House M.D. door medische professionals biedt vertrouwen dat de geëxtraheerde scenario’s klinisch betekenisvolle informatie bevatten die geschikt is voor AI-[evaluatie].’

Voorbeelden uit de dataset gegenereerd voor het project.  Bron

Tests

Om de modelnauwkeurigheid op narratieve diagnostische taken te evalueren, ontwierpen de auteurs een eenvoudige pipeline die promptgeneratie, modelinferentie en scoring combineerde.

De vier eerder genoemde LLM’s werden getest, met elk model geconfigureerd met temperatuur ingesteld op nul (waardoor deterministische in plaats van ‘creatieve’ output werd gegarandeerd), en met een maximum token-lengte van 1.500 – een toewijzing die was ontworpen om complexe diagnostische redenering te accommoderen. Er werden geen aanvullende systeemprompts gebruikt om de queries verder te kaderen.

De prompts zelf volgden een standaard gestructureerd medisch casuspresentatieformaat – het type dat kijkers het meest zullen kennen van medische dramas wanneer een nieuwe patiënt/ziekte wordt geïntroduceerd en een arts een overzicht samenvat voor het voordeel van andere aanwezige artsen (effectief, maar voor het voordeel van de kijkers).

Elke prompt presenteerde een klinisch verhaal dat bestond uit demografische gegevens; een tijdslijn van symptomen; relevante medische geschiedenis; en vroege diagnostische bevindingen. Het model werd geïnstrueerd om een enkele primaire diagnose te identificeren en zijn conclusie te rechtvaardigen met redenering.

Elk model genereerde zijn diagnostische reactie in één doorloop, zonder enige iteratieve verfijning; en reacties werden verzameld onder consistente voorwaarden voor alle 176 gevallen:

Een illustratief voorbeeld met een narratief klinisch prompt en de overeenkomstige grondwaarheiddiagnose, zoals gebruikt voor het testen van Gemini 2.5 Pro. Bron

Voor metrics werden voorspellingen geëvalueerd met behulp van een ‘fuzzy’ string-matchingprocedure ontworpen om rekening te houden met ambiguïteit in medische terminologie. De aanpak gebruikte Python’s SequenceMatcher-bibliotheek, met een overeenkomstdrempel van 0,8, beginnend met exacte substringmatching en terugvallend op token-wise vergelijking wanneer nodig. Nauwkeurigheid werd berekend als het percentage van de gevallen die correct werden geclassificeerd onder deze voorwaarden:

De ‘fuzzy matching’-workflow die door de onderzoekers werd gebruikt.

De auteurs merken op dat fuzzy matching kan betekenen dat semantisch identieke diagnoses die verschillende terminologie gebruiken, kunnen worden gemist, maar presenteren hun aanpak als de meest reproduceerbare die alle projectbeperkingen kon opvangen.

Resultaten

De diagnostische nauwkeurigheid varieerde sterk over modellen, met Gemini 2.5 Pro als beste presteerder met 38,64%, gevolgd door GPT-5 Mini met 36,93%, Gemini 2.5 Flash met 32,95% en GPT-4o Mini met 16,48%. Ondanks deze verschillen kampten alle modellen met de eisen van diagnostische redenering voor zeldzame ziekten:

Resultaten voor diagnostische nauwkeurigheid over de vier geteste modellen.

De auteurs merken ook op dat de prestaties varieerden over de seizoenen van de show:

Variërende nauwkeurigheid over de diverse seizoenen van House, maar zonder een duidelijke curve of duidelijke reden.

Het artikel zegt:

‘Seizoen 1 behaalde de hoogste nauwkeurigheid met 56,52%, terwijl Seizoen 5 de laagste had met 20,83%. Deze variatie suggereert dat diagnostische complexiteit varieert gedurende de serie, met latere seizoenen die mogelijk moeilijkere zeldzame ziektegevallen bevatten.

‘Echter, de relatief sterke prestatie in Seizoen 8 (52,38%) geeft aan dat tijdelijke progressie alleen de nauwkeurigheidsverschillen niet volledig verklaart; casus-specifieke diagnostische complexiteit lijkt de primaire driver te zijn.’

Modellen presteerden betrouwbaarder bij het diagnosticeren van veelvoorkomende aandoeningen met herkenbare symptomen, zoals meningitis, myocardinfarct en longembolie – maar worstelden consistent met zeldzame ziekten zoals neurocysticercose en Erdheim-Chester-ziekte, evenals complexe auto-immuunstoornissen zoals systemische lupus erythematosus en sarcoidose. De prestaties daalden ook bij toxicologische gevallen die een link tussen blootstellinggeschiedenis en klinische tekenen vereisten.

De auteurs suggereren dat de variatie in nauwkeurigheid tussen modellen wijst op significante verschillen in architectuur en trainingsstrategie, waarbij de betere prestaties van GPT-5 Mini en Gemini 2.5 Pro aangeven dat nieuwere generaties van LLM profiteren van verbeterde redeneervaardigheden – hoewel hun resultaten nog steeds duidelijke beperkingen laten zien bij het omgaan met complexe diagnostische taken.

De resultaten, zo beweren zij, bieden basismetingen voor narratief-gebaseerde zeldzame ziektediagnose, wat sterk aangeeft dat huidige taalmodellen beginnen te laten zien dat ze nuttige medische redeneervaardigheden hebben.

De sprong in prestaties van GPT-4o Mini met 16,48% naar Gemini 2.5 Pro met 38,64% geeft, zo concludeert het artikel, aan dat er gestaag vooruitgang wordt geboekt naar klinisch toepasbare AI-ondersteuningsinstrumenten.

Hoewel de onderzoekers toegeven dat de nauwkeurigheidsniveaus nog steeds bescheiden zijn, richt de benchmark zich uitsluitend op zeer complexe gevallen die zelfs getrainde artsen regelmatig uitdagen, en het vermogen om de diagnose correct te identificeren in bijna 40% van deze moeilijke voorbeelden wijst op echte redeneervaardigheid, wat de basis legt voor toekomstige verbeteringen door gerichte fine-tuning, geïntegreerde medische kennis of hybride redeneerstrategieën.

Conclusie

Er zijn enkele voor de hand liggende gevaren bij het hergebruiken van tv-serienarraties als echte medische datasets – zelfs in gevallen, zoals met House, waar het bronmateriaal een hoog niveau van gekwalificeerde medische bijdragen en/of toezicht heeft.

Het is interessant om op te merken dat een typische aflevering van House effectief fungeert als een samenvattingsmachine voor een reeks medische vermeldingen die mogelijk niet direct toegankelijk zijn op internet voor de gemiddelde persoon, of voor gegevensbronnen die de informatie op een veel meer gefragmenteerde en niet-lineaire manier presenteren.

Als een arts daadwerkelijk het scenario voor een aflevering schrijft, zoals vaak het geval was met House, kan dit door onderzoekers worden gebruikt als een soort ‘goedkeuring’ van de inhoud; maar dit negeert het feit dat artistieke overwegingen de presentatie van de ziekte in de aflevering kunnen hebben beïnvloed.

Dit laat de gegevens in de conditie van zoveel andere potentieel nuttige gegevensbronnen voor training: in nood van een verse laag dure, gekwalificeerde menselijke toezicht.

* Let op dat dit zeer korte artikel niet het gebruikelijke sjabloon volgt, en ik heb de dekking aangepast om dit aan te passen.

voor het eerst gepubliceerd op maandag 17 november 2025