CHOP modellerer barns hjerter med NVIDIAs KI-verktøy med åpen kildekode

Children’s Hospital of Philadelphia (CHOP) driver en tjeneste for hjertemodellering bygget på MONAI, et rammeverk med åpen kildekode for medisinsk bildebehandling som NVIDIA var med på å etablere. Tjenesten gjør CT-bilder, MR-bilder og 3D-ultralydbilder som barnets behandlingsteam allerede har, om til anatomisk presise hjertemodeller, opplyste NVIDIA 15. september 2026. Ifølge NVIDIA produserer tjenesten hver modell på få sekunder og erstatter en arbeidsflyt som tidligere tok en kvalifisert forsker omtrent fire timer. Dermed er modellene raske nok for rutinemessig klinisk bruk.

Omtrent 1 % av levendefødte barn har en medfødt hjertefeil, og ingen tilfeller er like, ifølge NVIDIAs fremstilling. Et barn som fødes med et hull mellom hjertets nedre kamre, eller en lekkasje i klaffen i det eneste pumpekammeret som holder barnet i live, trenger behandling tilpasset akkurat denne anatomien. Enhetene kirurgene bruker, har historisk sett nesten aldri vært utformet med det enkelte barnet i tankene.

«Du har et helt unikt barn og en standardenhet», sa dr. Matthew Jolley, kardiolog og forsker ved Children’s Hospital of Philadelphia, i NVIDIAs blogginnlegg. «Jobben vår er å finne ut hva som passer, og modellering gjør det mulig før noen går inn i kateterlaboratoriet eller operasjonssalen.»

Tilnærmingen brer seg, melder NVIDIA. Programmer for hjertemodellering finnes nå ved mer enn 20 barnesykehus i USA. Ved Boston Children’s Hospital støtter modellering mer enn halvparten av alle hjerteoperasjoner, omtrent 500 tilfeller i året, og CHOP forventer å nå rundt 200 modellerte tilfeller i 2026. Arbeidet begynte innen hjertebehandling, men CHOP ønsker nå å bruke de samme verktøyene på tvers av flere fagområder gjennom IDEA Lab, som er en del av sykehusets Morgan Center for Research and Innovation. CHOPs Research Institute har beskrevet IDEA Lab, en forkortelse for Innovate, Design, Engineer, and Accelerate, som en sentral del av Morgan Center. Laboratoriet tilbyr ressurser for biofabrikasjon på sykehusområdet under ledelse av Elizabeth Silvestro, PhD.

Fra SlicerHeart til behandlingsstandard

Jolley begynte ved CHOP i 2015, da 3D-ekkokardiografi nettopp var i ferd med å bli tatt i bruk. Det fantes verktøy for å modellere hjerteklaffer hos voksne, men nesten ingenting var utviklet for de komplekse og små anatomiene han behandlet, ifølge NVIDIA. Jolleys laboratorium og fellesskapet for åpen kildekode bygget SlicerHeart, en utvidelse av programvaren 3D Slicer med åpen kildekode, som brukes til å visualisere, segmentere og analysere medisinske 3D-bilder. Teamet utviklet også arbeidsflyter for å modellere barnehjerter og klaffer fra flere bildemodaliteter.

I mange år krevde det flere timers arbeid ved en arbeidsstasjon fra en kvalifisert forskningsassistent å lage én modell. Ved hjelp av MONAI Label og NVIDIAs Auto3DSeg-implementering trente Jolleys team segmenteringsnettverk på par av tidligere bilder og modeller. NVIDIA opplyser at resultatet oppnår samme kvalitetsstandard som et opplært menneske ville levert, men på sekunder i stedet for timer. Jolley sier at maskinlæring har blitt rutine i laboratoriet: Så snart teamet har laget 10 eller 20 bilde-modell-par, trener det en modell og begynner å bruke den.

MONAIs eget prosjektnettsted beskriver et PyTorch-basert og fellesskapsdrevet økosystem for KI i medisinsk bildebehandling: MONAI Label gir merknadsfunksjoner med aktiv læring som kobles til 3D Slicer, MONAI Core leverer biblioteket for opplæring og forskning, og MONAI Deploy pakker trente modeller for kliniske inferensprosesser, med Auto3DSeg blant referanseimplementeringene. Rammeverket vedlikeholdes av forskere og ingeniører ved NVIDIA, NIH, King’s College London, Mayo Clinic, MSKCC, Stanford, DKFZ og mer enn 30 andre institusjoner, og distribueres under Apache 2.0-lisensen.

Den kliniske virkningen viste seg raskt, ifølge NVIDIA. Ved komplekse ventrikkelseptumdefekter, hull mellom hjertets nedre kamre, gjennomfører CHOP nå rutinemessig modellering før operasjonen. I et tidlig tilfelle hadde et barn allerede gjennomgått to mislykkede reparasjonsforsøk fordi kirurgene ikke klarte å finne defekten med tradisjonelle metoder. 3D-modellen tydeliggjorde anatomien, og reparasjonen lyktes på første forsøk. For slike tilfeller har hjertemodellering ifølge Jolley gått fra forskning til behandlingsstandard.

Simulering av enheter før operasjonen

For Jolleys team går målet lenger enn visualisering: De vil forutsi hva som skjer når en enhet plasseres i et barns hjerte, før et inngrep starter. Dette arbeidet kjører på Newton, en fysikkmotor med åpen kildekode bygget på Python-rammeverket NVIDIA Warp. Den kjører fysikksimuleringer på GPU-er og var opprinnelig beregnet på simuleringsbasert opplæring av KI-roboter.

CHOP samarbeider med NVIDIA og fellesskapet for åpen kildekode om å bygge biomekaniske simuleringsrammeverk med Warp som kan tas inn i Newton. Når de er integrert med 3D Slicer og SlicerHeart, skal rammeverkene hjelpe leger med å forstå materialegenskapene i vevet som avgjør hvordan en enhet vil folde seg ut hos en bestemt pasient. NVIDIA opplyser at GPU-akselerasjon kan redusere tiden som trengs for å simulere en hjerteenhet, fra opptil fire timer eller en hel natt for flere konfigurasjoner til nær sanntid. I praksis er det raskt nok til at en kliniker kan sammenligne hvordan ulike enheter passer til et barns anatomi og ta en avgjørelse samme dag.

CHOP har begynt å implementere funksjoner bygget på Warp og Newton for lukkeenheter som brukes til å tette hull i barns hjerter, og håper å bruke lignende metoder på simuleringer av transkateterklaffer. Arkitekturen med åpen kildekode i Warp og Newton kobles sammen med SlicerHeart, med et langsiktig mål om å føre sanntidssimuleringer inn i kliniske arbeidsflyter. En kobling som bruker SlicerHeart og digitale tvillinger fra NVIDIA Omniverse drevet av OpenUSD, er også under utvikling: Simuleringer bygget fra pasientbilder skal overføres til miljøer for virtuell virkelighet med innebygde syn-språk-modeller, slik at klinikere kan stille spørsmål om og samhandle med et barns hjerteanatomi før de griper inn.

Økonomien i åpen kildekode og et nasjonalt konsortium

Omtrent 2,4 millioner mennesker i USA lever med medfødt hjertesykdom, og NVIDIA beskriver denne gruppen som historisk sett for sjelden og for mangfoldig til å tiltrekke tradisjonelle investeringer fra utstyrsprodusenter i den skalaen familiene trenger. Jolley sier at gruppen er for liten til å støtte tradisjonell kommersiell utvikling etter vanlige økonomiske regler, og at åpen kildekode bryter med disse reglene for små og heterogene grupper ved å muliggjøre samarbeid og fremgang uten hindringer.

SlicerHeart-verktøyene er gratis tilgjengelige slik at andre kan bruke og videreutvikle dem, og forskere ved Stanford og Boston Children’s Hospital bidrar med flere verktøy sammen med CHOP. Et nasjonalt konsortium av barnesykehus er nå i ferd med å bli etablert for å bygge neste generasjons felles modelleringsinfrastruktur, med verktøy med åpen kildekode som knytter sammen arbeidet ved de deltakende institusjonene. Ifølge NVIDIA gir selskapets investeringer og samarbeid om åpne plattformer, blant annet MONAI for KI i medisinsk bildebehandling, Newton for fysikksimulering og OpenUSD for 3D-samvirke og virtuell virkelighet, et laboratorium ved et barnesykehus tilgang til verktøy som ellers ville krevd et ingeniørteam på størrelse med en bedrift for å bygge og vedlikeholde.