AI worstelt om links van rechts te onderscheiden in medische scans

Een nieuwe studie toont aan dat AI-beeldmodellen zoals ChatGPT medische scans verkeerd kunnen interpreteren, wat het risico van gevaarlijke fouten bij de diagnose vergroot, met tests die aantonen dat ze vaak falen bij basisruimtelijke redenering in medische scans – gokken waar organen zouden moeten zijn, in plaats van daadwerkelijk naar het beeld te kijken. Misschien nog interessanter, het onderzoek toont aan dat deze modellen mogelijk niet eens naar uw geüploade PDF’s of beelden kijken.

Iedereen die ooit regelmatig gegevens heeft geüpload, zoals PDF-inhoud, naar een toonaangevend taalmodel zoals ChatGPT, weet dat LLM’s niet altijd noodzakelijkerwijs lezen of onderzoeken wat u hen presenteert; in plaats daarvan maken ze vaak aannamen over het materiaal, op basis van wat u erover schreef in uw prompt toen u het uploadde.

Het kan moeilijk zijn om een taalmodel te overtuigen om toe te geven dat het antwoord niet daadwerkelijk uit het materiaal is gehaald, maar op basis van voorafgaande kennis, metadata of algemene aannamen. Source: https://chatgpt.com

Een mogelijke reden hiervoor is om de snelheid van het antwoord te verhogen door het geüploade materiaal ‘overbodig’ te beschouwen en te vertrouwen op de tekst-prompt om gebruik te maken van de voorafgaande kennis van het systeem – zonder het uploaden helemaal en op die manier het netwerkverkeer te minimaliseren.

Een andere reden is het behoud van resources (hoewel aanbieders onwaarschijnlijk deze informatie zullen vrijgeven, als dit waar is), waarbij bestaande metadata die de LLM heeft geëxtraheerd uit eerder uitwisselingen in de chat, worden gebruikt als basis voor verdere antwoorden, zelfs wanneer deze uitwisselingen en die metadata niet voldoende informatie bevatten om deze doelstelling te bereiken.

Links. Rechts?

Wat de reden ook mag zijn voor de uiteenlopende aandachtspanne en focusmogelijkheden van de huidige generatie LLM’s, er zijn situaties en contexten waarin gokken extreem gevaarlijk is. Een van deze situaties is wanneer de AI in kwestie wordt gevraagd om medische diensten te verlenen, zoals screening of risicoschatting van radiologisch materiaal.

Deze week hebben onderzoekers uit Duitsland en de VS een nieuwe onderzoeksstudie gepubliceerd waarin de effectiviteit van vier toonaangevende visuele taalmodellen, waaronder ChatGPT-4o, wordt onderzocht wanneer ze worden gevraagd om de locatie van organen in medische scans te identificeren.

Verwonderlijk genoeg, ondanks dat ze de staat van de techniek vertegenwoordigen, behalen de basismodellen geen hogere succesratio dan zuiver toeval de meeste tijd – blijkbaar omdat ze niet in staat zijn om hun getrainde kennis van humane anatomie voldoende los te koppelen en daadwerkelijk te kijken naar de beelden die aan hen worden gepresenteerd, in plaats van te vertrouwen op een gemakkelijke getrainde prior uit hun trainingsgegevens.

De onderzoekers vonden dat de LLM’s die werden getest aanzienlijk beter presteerden wanneer de secties die moesten worden overwogen, werden aangeduid met andere indicatoren (zoals stippen en alfanumerieke sequentie-indicatoren) en genoemd – en het beste van allemaal wanneer er geen melding werd gemaakt van organen of anatomie in de vraag.

Variabele succesniveaus, die toenemen naarmate de mogelijkheid van het model om terug te vallen op getrainde gegevens wordt verkleind en het wordt gedwongen om zich te concentreren op de gegevens die voor hem liggen. Source: https://wolfda95.github.io/your_other_left/

Het artikel stelt*:

‘State-of-the-art VLM’s beschikken al over sterke voorafgaande anatomische kennis die is ingebed in hun taalcomponenten. Met andere woorden, ze “weten” waar anatomische structuren typisch worden gelokaliseerd in standaard humane anatomie.

‘We gaan ervan uit dat VLM’s vaak hun antwoorden baseren op deze voorafgaande kennis in plaats van het daadwerkelijke beeld te analyseren. Bijvoorbeeld, wanneer ze worden gevraagd of de lever zich rechts van de maag bevindt, kan een model bevestigend antwoorden zonder het beeld te onderzoeken, enkel en alleen vertrouwend op de geleerde norm dat de lever meestal rechts van de maag wordt gelokaliseerd.

‘Dit gedrag kan leiden tot kritieke misdiagnoses in gevallen waarin de werkelijke posities afwijken van typische anatomische patronen, zoals in situs inversus, post-chirurgische veranderingen of tumorgedisplaceerd.’

Om het probleem in toekomstige inspanningen te mitigeren, hebben de auteurs een dataset ontwikkeld om dit probleem aan te pakken.

De bevindingen van het artikel kunnen verrassend zijn voor veel lezers die de ontwikkeling van medische AI hebben gevolgd, aangezien radiografie vrij vroeg werd aangemerkt als een van de banen die het meest risico lopen te worden geautomatiseerd door machine learning.

Het nieuwe werk heet Je andere links! Visuele taalmodellen falen om relatieve posities in medische beelden te identificeren, en komt van zeven onderzoekers uit twee faculteiten aan de Universiteit van Ulm en Axiom Bio in de VS.

Methode en gegevens

De onderzoekers stelden zich ten doel om vier kwesties te beantwoorden: of state-of-the-art visuele taalmodellen relatieve posities in radiologische beelden correct kunnen bepalen; of het gebruik van visuele markers hun prestaties in deze taak verbetert; of ze meer vertrouwen op voorafgaande anatomische kennis dan op de daadwerkelijke beeldinhoud; en hoe goed ze relatieve positioneringstaken afhandelen wanneer ze worden ontdaan van elke medische context.

Daartoe hebben ze de Medische Beeldrelatieve Positionering (MIRP) dataset gecureerd.

Hoewel de meeste bestaande visuele vraagbeantwoordingbenchmarks voor CT- of MRI-slices anatomische en lokaliseringsTaken omvatten, negeren deze oudere collecties de kernuitdaging van het bepalen van relatieve posities, waardoor veel taken opgelost kunnen worden met voorafgaande medische kennis alleen.

MIRP is ontworpen om dit aan te pakken door relatieve positievragen tussen anatomische structuren te testen, de impact van visuele markers te beoordelen en willekeurige rotaties en flips toe te passen om afhankelijkheid van geleerde normen te blokkeren. De dataset richt zich op abdominale CT-slices vanwege hun complexiteit en prevalentie in radiologie.

MIRP bevat een gelijk aantal ja en nee antwoorden, met de anatomische structuren in elke vraag optioneel gemarkeerd voor duidelijkheid.

Drie soorten visuele markers werden getest: zwarte cijfers in een witte doos; zwarte letters in een witte doos; en een rode en een blauwe stip:

De verschillende visuele markers die in MIRP worden gebruikt. Source: https://arxiv.org/pdf/2508.00549

De collectie werd gegenereerd uit de bestaande Beyond the Cranial Vault (BTCV) en Abdominal Multi-Organ Segmentation (AMOS) datasets.

Geanoteerde slices uit de AMOS-dataset. Source: https://arxiv.org/pdf/2206.08023

Het TotalSegmentator project werd gebruikt om anatomische platte beelden te extraheren uit volumineuze gegevens:

Enkele van de 104 anatomische structuren die beschikbaar zijn in TotalSegmentator. Source: https://arxiv.org/pdf/2208.05868

Axiale beeldslices werden vervolgens gegenereerd met de SimpleITK framework.

De ‘uitdaging’ beeldlocaties moesten minstens 50px uit elkaar liggen en een grootte hebben die minstens twee keer zo groot was als de markers, om vraag/antwoordparen te genereren.

Tests

De vier visuele taalmodellen die werden getest waren GPT-4o; Llama3.2; Pixtral; en DeepSeek’s JanusPro.

De onderzoekers testten elk van hun vier onderzoeksVragen op hun beurt, met de eerste (Q1) als ‘Kunnen huidige top-tier VLM’s relatieve posities in radiologische beelden nauwkeurig bepalen? Voor deze vraag testten de onderzoekers de modellen op gewone, geroteerde of omgekeerde CT-slices met een standaardvraagformulier, zoals Is de linker nier onder de maag?.

Resultaten (hieronder weergegeven) toonden nauwkeurigheden nabij 50 procent over alle modellen, wat wijst op een prestatie op toevalniveau en een onvermogen om betrouwbaar relatieve posities te beoordelen zonder visuele markers:

Gemiddelde nauwkeurigheid voor alle experimenten met beeldgebaseerde evaluatie op de MIRP-benchmark (RQ1–RQ3) en de ablatie-dataset (AS).

Om te testen of visuele markers visuele taalmodellen kunnen helpen om relatieve posities in radiologische beelden te bepalen, herhaalde de studie de experimenten met CT-slices die waren geannoteerd met letters, cijfers of rode en blauwe stippen; en hier werd het vraagformulier aangepast om naar deze markers te verwijzen – bijvoorbeeld Is de linker nier (A) onder de maag (B)? of Is de linker nier (rood) onder de maag (blauw)?.

Resultaten toonden kleine nauwkeurigheidswinsten voor GPT-4o en Pixtral wanneer letter- of cijfermarkers werden gebruikt, terwijl JanusPro en Llama3.2 weinig tot geen voordeel zagen, wat suggereert dat markers alleen mogelijk niet voldoende zijn om de prestaties aanzienlijk te verbeteren.

Nauwkeurigheid voor alle experimenten met beeldgebaseerde evaluatie. Voor RQ2, RQ3 en AS worden de resultaten weergegeven met de best presterende markertype voor elk model: letters voor GPT-4o, en rode-blauwe stippen voor Pixtral, JanusPro en Llama3.4.

Om de derde vraag te beantwoorden, Gebruiken VLM’s voorafgaande anatomische kennis in plaats van visuele input bij het bepalen van relatieve posities in radiologische beelden?, onderzochten de auteurs of visuele taalmodellen meer vertrouwen op voorafgaande anatomische kennis dan op visuele bewijzen bij het bepalen van relatieve posities in radiologische beelden.

Wanneer getest op geroteerde of omgekeerde CT-slices, produceerden GPT-4o en Pixtral vaak antwoorden die consistent waren met standaardanatomische posities, in plaats van te reflecteren wat in het beeld werd getoond, met GPT-4o die meer dan 75 procent nauwkeurigheid behaalde op anatomiegebaseerde evaluatie, maar alleen kansniveau-prestaties op beeldgebaseerde evaluatie.

Het verwijderen van anatomische termen uit de prompts en het gebruik van alleen visuele markers dwong de modellen om te vertrouwen op beeldinhoud, wat leidde tot opmerkelijke winsten, met GPT-4o die meer dan 85 procent nauwkeurigheid behaalde met lettermarkers, en Pixtral meer dan 75 procent met stippen.

Een vergelijking van de vier visuele taalmodellen bij het bepalen van de relatieve posities van anatomische structuren in medische beelden – een belangrijke vereiste voor klinisch gebruik. De prestaties liggen op toevalniveau met gewone beelden (RQ1) en tonen alleen kleine winsten met visuele markers (RQ2). Wanneer anatomische namen worden verwijderd en modellen moeten volledig vertrouwen op de markers, behalen GPT-4o en Pixtral aanzienlijke nauwkeurigheidswinsten (RQ3). De resultaten worden weergegeven met de best presterende markertype voor elk model.

Dit suggereert dat beide modellen de taak kunnen uitvoeren met behulp van beeldgegevens, maar geneigd zijn om terug te vallen op geleerde anatomische priors wanneer anatomische namen worden gegeven – een patroon dat niet duidelijk wordt waargenomen in JanusPro of Llama3.2.

Hoewel we meestal geen ablatiestudies behandelen, hebben de auteurs de vierde en laatste onderzoeksVraag op deze manier aangepakt. Daarom, om de relatieve positioneringsmogelijkheid zonder enige medische context te testen, gebruikte de studie gewone witte beelden met willekeurig geplaatste markers en stelde eenvoudige vragen zoals Is het cijfer 1 boven het cijfer 2?. Pixtral toonde verbeterde resultaten met stipmarkers, terwijl de andere modellen presteerden zoals hun RQ3-scores.

JanusPro, en vooral Llama3.2, worstelden zelfs in deze vereenvoudigde setting, wat wijst op onderliggende zwakheden in relatieve positionering die niet beperkt zijn tot medische beelden.

De auteurs merken op dat GPT-4o het beste presteerde met lettermarkers, terwijl Pixtral, JanusPro en Llama3.2 hogere scores behaalden met rode-blauwe stippen. GPT-4o was de algehele top-prester, met Pixtral als leider onder de open-source modellen.

Conclusie

Op een persoonlijke noot, dit artikel trok mijn aandacht niet zozeer vanwege de medische betekenis, maar omdat het een van de meest ondergerapporteerde en fundamentele tekortkomingen van de huidige golf van SOTA LLM’s benadrukt – dat, als de taak mogelijk kan worden vermeden, en tenzij u uw materiaal zorgvuldig presenteert, ze niet de teksten die u uploadt of de beelden die u hen presenteert zullen lezen.

Verder toont de studie aan dat, als uw tekstprompt op enigerlei wijze uitlegt wat het secundaire geüploade materiaal is, de LLM zal geneigd zijn om het te behandelen als een ‘teleologisch’ voorbeeld en zal aannamen/veronderstellingen doen over het materiaal op basis van voorafgaande kennis, in plaats van het materiaal te bestuderen en te overwegen.

Effectief, op dit moment zullen VLM’s grote moeite hebben om ‘afwijkend’ materiaal te identificeren – een van de meest essentiële vaardigheden in diagnostische geneeskunde. Hoewel het mogelijk is om de logica om te keren en een systeem te laten zoeken naar outliers in plaats van in-distributionresultaten, zou het model uitzonderlijke curatie nodig hebben om het signaal niet te overweldigen met irrelevante of spurious voorbeelden.

* Inline citaten zijn weggelaten, omdat er geen elegante manier is om ze als hyperlinks op te nemen. Raadpleeg het bronartikel.

Publicatie op maandag 4 augustus 2025