Med-Gemini: Omvandlar medicinsk AI med nästa generations multimodala modeller

Artificiell intelligens (AI) har under de senaste åren gjort avtryck inom medicinområdet. Det förbättrar noggrannheten vid medicinsk bildanalys, hjälper till att skapa personanpassade behandlingsplaner genom analys av genetisk data och accelererar läkemedelsutveckling genom undersökning av biologiska data. Trots dessa imponerande framsteg är de flesta AI-applikationer idag begränsade till specifika uppgifter som använder endast en typ av data, som till exempel en CT-skanning eller genetisk information. Denna enmodala strategi skiljer sig markant från hur läkare arbetar, som integrerar data från olika källor för att diagnostisera tillstånd, förutsäga utfall och skapa omfattande behandlingsplaner.

För att på riktigt stödja kliniker, forskare och patienter i uppgifter som att generera radiologiska rapporter, analysera medicinska bilder och förutsäga sjukdomar från genetisk data, behöver AI hantera olika medicinska uppgifter genom att resonera över komplexa multimodala data, inklusive text, bilder, videor och elektroniska hälsoregister (EHR). Men att bygga dessa multimodala medicinska AI-system har varit utmanande på grund av AI:s begränsade förmåga att hantera olika datatyper och bristen på omfattande biomedicinska dataset.

Behovet av multimodal medicinsk AI

Hälsovården är ett komplext nätverk av sammanlänkade datakällor, från medicinska bilder till genetisk information, som vårdpersonal använder för att förstå och behandla patienter. Traditionella AI-system fokuserar ofta på enskilda uppgifter med enskilda datatyper, vilket begränsar deras förmåga att ge en omfattande översikt av en patients tillstånd. Dessa enmodala AI-system kräver stora mängder märkt data, vilket kan vara dyrt att erhålla, och ger en begränsad omfattning av funktioner och möter utmaningar när det gäller att integrera insikter från olika källor.

Multimodal AI kan övervinna utmaningarna med befintliga medicinska AI-system genom att ge en holistisk synvinkel som kombinerar information från olika källor, vilket ger en mer exakt och komplett förståelse av en patients hälsa. Denna integrerade strategi förbättrar diagnostisk noggrannhet genom att identifiera mönster och korrelationer som kan missas när man analyserar varje modalitet separat. Dessutom främjar multimodal AI dataintegrering, vilket gör det möjligt för vårdpersonal att få tillgång till en enhetlig vy av patientinformation, vilket främjar samarbete och välunderbyggda beslut. Dess anpassningsförmåga och flexibilitet gör det möjligt för den att lära sig från olika datatyper, anpassa sig till nya utmaningar och utvecklas med medicinska framsteg.

Introduktion av Med-Gemini

De senaste framstegen inom stora multimodala AI-modeller har utlöst en rörelse i utvecklingen av avancerade medicinska AI-system. Google (GOOGL ) och DeepMind leder denna rörelse med sin avancerade modell, Med-Gemini. Denna multimodala medicinska AI-modell har visat exceptionell prestanda över 14 branschbenchmark, och överträffar konkurrenter som OpenAI:s GPT-4. Med-Gemini byggs på Gemini-familjen av stora multimodala modeller (LMM) från Google DeepMind, som är utformade för att förstå och generera innehåll i olika format, inklusive text, ljud, bilder och video. Till skillnad från traditionella multimodala modeller har Gemini en unik Mixture-of-Experts (MoE)-arkitektur, med specialiserade transformatormodeller som är skickliga på att hantera specifika datasegment eller uppgifter. Inom medicinområdet innebär detta att Gemini dynamiskt kan engagera den mest lämpliga experten baserat på den inkommande datatypen, oavsett om det är en radiologisk bild, en genetisk sekvens, patienthistoria eller kliniska anteckningar. Denna konfiguration speglar den multidisciplinära strategi som kliniker använder, vilket förbättrar modellens förmåga att lära sig och bearbeta information effektivt.

Fine-Tuning av Gemini för multimodal medicinsk AI

För att skapa Med-Gemini har forskare finjusterat Gemini på anonymiserade medicinska dataset. Detta gör att Med-Gemini kan ärva Geminis ursprungliga förmågor, inklusive språksamtal, resonemang med multimodal data och hantering av längre sammanhang för medicinska uppgifter. Forskare har tränat tre anpassade versioner av Gemini-visionencodern för 2D-modaliteter, 3D-modaliteter och genetik. Detta är liknande att träna specialister inom olika medicinska områden. Träningen har lett till utvecklingen av tre specifika Med-Gemini-varianter: Med-Gemini-2D, Med-Gemini-3D och Med-Gemini-Polygenic.

• Med-Gemini-2D

Med-Gemini-2D är tränad för att hantera konventionella medicinska bilder som bröst-röntgen, CT-skivor, patologipatcher och kamerabilder. Denna modell excellerar i uppgifter som klassificering, visuell frågesvar och textgenerering. Till exempel, om man ger en bröst-röntgen och instruktionen “Visade röntgen några tecken som kan indikera carcinoma (en indikation på cancerogena tillväxter)?”, kan Med-Gemini-2D ge ett exakt svar. Forskare har avslöjat att Med-Gemini-2D:s förbättrade modell förbättrade AI-aktiverad rapportgenerering för bröst-röntgen med 1% till 12%, och producerade rapporter “likvärdiga eller bättre” än de som gjorts av radiologer.

• Med-Gemini-3D

Med-Gemini-3D utökar Med-Gemini-2D:s förmågor och är tränad för att tolka 3D-medical data som CT- och MR-skanningar. Dessa skanningar ger en omfattande vy av anatomiska strukturer, vilket kräver en djupare nivå av förståelse och mer avancerade analytiska tekniker. Förmågan att analysera 3D-skanningar med textinstruktioner markerar ett betydande steg i medicinsk bildanalys. Utvärderingar visade att mer än hälften av de rapporter som genererades av Med-Gemini-3D ledde till samma vårdrekommendationer som de som gjorts av radiologer.

• Med-Gemini-Polygenic

Till skillnad från de andra Med-Gemini-varianterna som fokuserar på medicinsk bildanalys, är Med-Gemini-Polygenic utformad för att förutsäga sjukdomar och hälsoutfall från genetisk data. Forskare hävdar att Med-Gemini-Polygenic är den första modellen av sitt slag som analyserar genetisk data med textinstruktioner. Experiment visar att modellen överträffar tidigare linjära polygena poäng i förutsägelse av åtta hälsoutfall, inklusive depression, stroke och glaukom. Det visar också nollskottsförmåga, och förutsäger ytterligare hälsoutfall utan explicit utbildning. Denna framsteg är avgörande för att diagnostisera sjukdomar som koronar artery-sjukdom, KOL och typ 2-diabetes.

Bygga förtroende och säkerställa transparens

Förutom dess imponerande framsteg inom hantering av multimodal medicinsk data, har Med-Geminis interaktiva förmågor potentialen att adressera grundläggande utmaningar i AI-antagande inom medicinområdet, som den svarta lådan av AI och oron för jobbbyte. Till skillnad från typiska AI-system som fungerar från slut till slut och ofta fungerar som ersättningsverktyg, fungerar Med-Gemini som ett hjälpmedel för vårdpersonal. Genom att förbättra deras analysförmåga, lindrar Med-Gemini rädslan för jobbbyte. Dess förmåga att ge detaljerade förklaringar av dess analyser och rekommendationer förbättrar transparensen, vilket gör det möjligt för läkare att förstå och validera AI-beslut. Denna transparens bygger förtroende bland vårdpersonal. Dessutom stöder Med-Gemini mänsklig tillsyn, vilket säkerställer att AI-genererade insikter granskas och valideras av experter, vilket främjar ett samarbetsmiljö där AI och medicinska proffs arbetar tillsammans för att förbättra patientvård.

Vägen till verklig tillämpning

Medan Med-Gemini visar imponerande framsteg, är det fortfarande i forskningsfasen och kräver omfattande medicinsk validering innan verklig tillämpning. Stränga kliniska prövningar och omfattande testning är nödvändiga för att säkerställa modellens tillförlitlighet, säkerhet och effektivitet i olika kliniska miljöer. Forskare måste validera Med-Geminis prestanda över olika medicinska tillstånd och patientdemografier för att säkerställa dess robusthet och generaliserbarhet. Regulatoriska godkännanden från hälso-myndigheter kommer att krävas för att garantera efterlevnad av medicinska standarder och etiska riktlinjer. Samarbeten mellan AI-utvecklare, medicinska proffs och regulatoriska organ kommer att vara avgörande för att förfinansa Med-Gemini, adressera eventuella begränsningar och bygga förtroende för dess kliniska nytta.

Slutsatsen

Med-Gemini representerar ett betydande steg inom medicinsk AI genom att integrera multimodal data, som text, bilder och genetisk information, för att ge omfattande diagnostik och behandlingsrekommendationer. Till skillnad från traditionella AI-modeller som är begränsade till enskilda uppgifter och datatyper, speglar Med-Geminis avancerade arkitektur den multidisciplinära strategi som vårdpersonal använder, vilket förbättrar diagnostisk noggrannhet och främjar samarbete. Trots dess lovande potential, kräver Med-Gemini rigorös validering och regulatoriskt godkännande innan verklig tillämpning. Dess utveckling signalerar en framtid där AI stöder vårdpersonal, vilket förbättrar patientvård genom avancerad, integrerad dataanalys.