Bruk av ‘House’ TV-serien til å utvikle AI’s diagnostiske evner

Selv om diagnose av sjeldne sykdommer er en særlig hard utfordring for AI (likesom for mennesker), viser populære språkmodeller som ChatGPT og Gemini løftende resultater når de trenes på diagnostiske saker fra den populære ‘House’ medisinske drama-serien.

Nærmere halvparten av alle helsevitenskapsstudenter ser regelmessig på medisinske dramaer som House, Grey’s Anatomy og Scrubs. Selv om denne type materiale bare kan brukes til didaktiske formål med mye filtering og ramming, på grunn av risikoen for å spre farlig feilinformasjon, er forskningsstandarden for dramaer med medisinske tilstander som regel ganske høy (selv om nøyaktighet varierer over produksjoner).

Ikke overraskende, opprinnelse, rådgiver på og/eller skriver TV-medical dramaer. I slike tilfeller er omfattende medisinsk domenekunnskap gunstig ikke bare for å konveyere medisinske problemer nøyaktig, men også for å ideere forslag til nye og interessante historier.

En av de mest studerte medisinske showene fra den nylige ‘gylne alder’ av TV er House (aka House MD), hvor eksentrisiteten til hovedkarakteren og de store fluktuasjonene i birollene, underholdende som de var, tok andreplass til ‘sykdommen for uken’.

Faktisk, av 177 episoder sendt over åtte sesonger, ga House en flittig 176 diagnostiske casestudier. Selv om showet sluttet i 2012, var det allerede i bruk som et undervisningsverktøy i 2015, med en spesial Dr. House seminar som ga bedre resultater sammenlignet med standard seminar, selv om det ikke ga noen studiepoeng:

Fra en studie i 2015, diverse grunner til at medisinstudenter ønsket å delta i et diagnostisk seminar som utnyttet informasjon fra ‘House’ TV-serien. Seminarene ble avholdt på en bevisst utfordrende tid, og ga ingen studiepoeng; likevel var initiativet en suksess. Kilde

House og AI

Selv om bruk av House og andre forskjellige TV-serier er bevist i flere studier å være en effektiv hjelp til læring for medisinstudenter, er lite av denne tilnærmingen forsøkt så langt i en maskinlæringssammenheng.

Nå, en ny artikkel fra Pennsylvania State University har gjort et første forsøk i denne retningen, ved å utvikle en datasett som inneholder alle brukbare 176 House casestudier, formet inn i en narrativ-drevet diagnostisk struktur, og deretter evaluert på populære LLM’er fra OpenAI og Google.

Til tross for vanskeligheten med denne utfordringen (som kjennetegner en av de mest vanskelige feltene i biologiske vitenskaper), fant forskerne at nyere versjoner av ChatGPT og Gemini viste forbedring sammenlignet med eldre versjoner, noe som indikerer at utviklingstrenden for modellutvikling sannsynligvis vil gli effektivt inn i diagnostiske prosesser over tid.