Med-Gemini: Transformerer medisinsk AI med neste generasjons multimodale modeller

Kunstig intelligens (KI) har vært i fokus i medisinen de siste årene. Det forbedrer nøyaktigheten av medisinske bilddiagnostiske undersøkelser, hjelper med å lage personaliserte behandlinger gjennom analyse av genetisk data og akselerer legemiddelforskning ved å undersøke biologisk data. Likevel, til tross for disse imponerende fremgangene, er de fleste KI-applikasjoner i dag begrenset til spesifikke oppgaver som bruker bare én type data, som for eksempel en CT-skanning eller genetisk informasjon. Denne enkeltmodale tilnærmingen er ganske forskjellig fra hvordan leger arbeider, som integrerer data fra ulike kilder for å diagnostisere tilstander, forutsi resultater og lage omfattende behandlingsplaner.

For å virkelig støtte kliniske forskere, forskere og pasienter i oppgaver som å generere radiologirapporter, analysere medisinske bilder og forutsi sykdommer fra genetisk data, må KI kunne håndtere ulike medisinske oppgaver ved å resonere over komplekse multimodale data, inkludert tekst, bilder, videoer og elektroniske helsejournaler (EHR). Likevel har byggingen av disse multimodale medisinske KI-systemer vært utfordrende på grunn av KI-ens begrensede evne til å håndtere ulike datatyper og mangelen på omfattende biomedisinske datasett.

Behovet for multimodal medisinsk KI

Helsevesenet er et komplekst nettverk av sammenkoblede datakilder, fra medisinske bilder til genetisk informasjon, som helsepersonell bruker for å forstå og behandle pasienter. Likevel fokuserer tradisjonelle KI-systemer ofte på enkeltoppgaver med enkelt datatyper, noe som begrenser deres evne til å gi en omfattende oversikt over en pasients tilstand. Disse unimodale KI-systemene krever store mengder merket data, som kan være dyrt å få tak i, og gir en begrenset rekkevidde av funksjoner, og møter utfordringer med å integrere innsikt fra ulike kilder.

Multimodal KI kan overvinne utfordringene med eksisterende medisinske KI-systemer ved å gi en helhetlig perspektiv som kombinerer informasjon fra ulike kilder, og tilbyr en mer nøyaktig og fullstendig forståelse av en pasients helse. Denne integrerte tilnærmingen forbedrer diagnostisk nøyaktighet ved å identifisere mønster og korrelasjoner som kan bli oversett når hver modus analyseres uavhengig. I tillegg fremmer multimodal KI dataintegrasjon, som gjør det mulig for helsepersonell å få tilgang til en samlet visning av pasientinformasjon, noe som fremmer samarbeid og informerte beslutninger. Dens tilpasningsevne og fleksibilitet gjør det mulig for den å lære fra ulike datatyper, tilpasse seg nye utfordringer og utvikle seg med medisinske fremgang.

Introduksjon av Med-Gemini

Nylige fremgang i store multimodale KI-modeller har utløst en bevegelse i utviklingen av sofistikerte medisinske KI-systemer. Ledende denne bevegelsen er Google (GOOGL ) og DeepMind, som har introdusert deres avanserte modell, Med-Gemini. Denne multimodale medisinske KI-modellen har vist eksepsjonell ytelse over 14 industrielle benchmark, og overgår konkurrenter som OpenAI sin GPT-4. Med-Gemini er bygget på Gemini-familien av store multimodale modeller (LMM) fra Google DeepMind, designet for å forstå og generere innhold i ulike formater, inkludert tekst, lyd, bilder og video. I motsetning til tradisjonelle multimodale modeller, har Gemini en unik Mixture-of-Experts (MoE)-arkitektur, med spesialiserte transformator-modeller som er dyktige i å håndtere bestemte datasegmenter eller oppgaver. I medisinen betyr dette at Gemini kan dynamisk engasjere den mest egnede eksperten basert på innkommende datatypen, enten det er en radiologisk bilde, en genetisk sekvens, en pasienthistorie eller kliniske notater. Denne oppsettet speiler den multidisiplinære tilnærmingen som kliniske forskere bruker, og forbedrer modellens evne til å lære og prosessere informasjon effektivt.

Fine-tuning av Gemini for multimodal medisinsk KI

For å skape Med-Gemini, har forskerne fine-tunet Gemini på anonymiserte medisinske datasett. Dette gjør det mulig for Med-Gemini å arve Gemini sine native funksjoner, inkludert språklig samtale, resonnering med multimodale data og håndtering av lengre kontekster for medisinske oppgaver. Forskerne har trent tre kustomiserte versjoner av Gemini-vision-encoderen for 2D-modaliteter, 3D-modaliteter og genetikk. Dette er som å trene spesialister i ulike medisinske fag. Treningen har ført til utviklingen av tre spesifikke Med-Gemini-variantene: Med-Gemini-2D, Med-Gemini-3D og Med-Gemini-Polygenic.

• Med-Gemini-2D

Med-Gemini-2D er trenet for å håndtere konvensjonelle medisinske bilder, som for eksempel bryst-X-stråler, CT-slice, patologiske lapp og kamera-bilder. Denne modellen excellerer i oppgaver som klassifisering, visuell spørsmål-svar og tekst-generering. For eksempel, gitt en bryst-X-stråle og instruksjonen “Visste X-strålen noen tegn som kunne indikere carcinoma (en indikasjon på kreftige vekster)?”, kan Med-Gemini-2D gi et nøyaktig svar. Forskerne avslørte at Med-Gemini-2D sin raffinerte modell forbedret AI-aktivert rapport-generering for bryst-X-stråler med 1% til 12%, og produserte rapporter “tilsvarende eller bedre” enn de som ble generert av radiologer.

• Med-Gemini-3D

Utvidelse av Med-Gemini-2D sine funksjoner, er Med-Gemini-3D trenet for å tolke 3D-mediske data, som for eksempel CT- og MRI-skanninger. Disse skanningene gir en omfattende visning av anatomiske strukturer, og krever en dypere forståelse og mer avanserte analytiske teknikker. Evnen til å analysere 3D-skanninger med tekstlige instruksjoner markerer et betydelig sprang i medisinsk bilddiagnostikk. Evalueringer viste at mer enn halvparten av rapportene generert av Med-Gemini-3D ledet til samme behandlingsanbefalinger som de som ble gjort av radiologer.

• Med-Gemini-Polygenic

I motsetning til de andre Med-Gemini-variantene som fokuserer på medisinsk bilde-diagnostikk, er Med-Gemini-Polygenic designet for å forutsi sykdommer og helse-resultater fra genetisk data. Forskerne hevder at Med-Gemini-Polygenic er den første modellen av sin type som analyserer genetisk data ved hjelp av tekstlige instruksjoner. Eksperimenter viser at modellen overgår tidligere lineære polygenetiske poeng i å forutsi åtte helse-resultater, inkludert depresjon, slag og glaukom. Merkelig nok, viser den også null-skudd-egenskaper, og forutsier ytterligere helse-resultater uten eksplisitt trening. Denne fremgangen er avgjørende for å diagnostisere sykdommer som koronar arteriell sykdom, KOLS og type 2-diabetes.

Bygging av tillit og sikring av transparens

I tillegg til sine bemerkelsesverdige fremgang i håndtering av multimodale medisinske data, har Med-Gemini sin interaktive funksjoner potensialet til å adresse fundamentale utfordringer i AI-adoptsjon innenfor medisinen, som den sorte boks-naturen av AI og bekymringer om jobb-erstatning. I motsetning til typiske AI-systemer som opererer end-to-end og ofte tjener som erstatningsverktøy, fungerer Med-Gemini som et hjelpemiddel for helsepersonell. Ved å forbedre deres analyse-egenskaper, lettet Med-Gemini frykten for jobb-erstatning. Dens evne til å gi detaljerte forklaringer av sine analyser og anbefalinger forbedrer transparens, og gjør det mulig for leger å forstå og verifisere AI-beslutninger. Denne transparensen bygger tillit blant helsepersonell. I tillegg støtter Med-Gemini menneskelig tilsyn, og sikrer at AI-genererte innsikter blir gjennomgått og validert av eksperter, og fremmer et samarbeidsmiljø hvor AI og medisinsk personell arbeider sammen for å forbedre pasient-omsorgen.

Veien til virkelige anvendelser

Selv om Med-Gemini viser bemerkelsesverdige fremgang, er det fortsatt i forskningsfasen og krever grundig medisinsk validering før virkelige anvendelser. Riggert kliniske prøver og omfattende testing er essensielle for å sikre modellens pålitelighet, sikkerhet og effektivitet i ulike kliniske settinger. Forskere må validere Med-Gemini sin ytelse over ulike medisinske tilstander og pasient-demografi for å sikre dens robusthet og generaliserbarhet. Reguleringsgodkjenninger fra helsemyndighetene vil være nødvendige for å garantere overholdelse av medisinske standarder og etiske retningslinjer. Samarbeidsinnsats mellom AI-utviklere, medisinsk personell og reguleringsmyndigheter vil være avgjørende for å forbedre Med-Gemini, adresse begrensninger og bygge tillit til dens kliniske nytte.

Sluttpunktet

Med-Gemini representerer et betydelig sprang i medisinsk KI ved å integrere multimodale data, som tekst, bilder og genetisk informasjon, for å gi omfattende diagnostikk og behandlingsanbefalinger. I motsetning til tradisjonelle KI-modeller som er begrenset til enkeltoppgaver og datatyper, speiler Med-Gemini sin avanserte arkitektur den multidisiplinære tilnærmingen til helsepersonell, og forbedrer diagnostisk nøyaktighet og fremmer samarbeid. Likevel, til tross for dens lovende potensial, krever Med-Gemini grundig validering og reguleringsgodkjenning før virkelige anvendelser. Dens utvikling signaliserer en fremtid hvor AI støtter helsepersonell, og forbedrer pasient-omsorgen gjennom sofistikert, integrert data-analyse.