AI-strategier har vanskeligheter med å skille venstre fra høyre i medisinske bilder

En ny studie viser at AI-bilde modeller som ChatGPT kan misforstå flippede eller roterte anatomiske strukturer, og øke risikoen for farlige feil i diagnose, med tester som indikerer at de ofte feiler i grunnleggende romlig resonnering i medisinske bilder – gjettning hvor organer skal være, i stedet for å faktisk se på bildet. Kanskje av større interesse, viser forskningen at disse modellene kanskje ikke leser dine lastede PDF-er eller ser på dine bilder overhodet.

Alle som har lastet opp data, som PDF-innhold, til en ledende språkmodell som ChatGPT, vil vite at LLM-er ikke alltid nødvendigvis leser eller undersøker det du presenterer for dem; de gjør ofte antagelser om materialet, basert på hva du skrev om det i din prompt når du lastet det opp.

Det kan være vanskelig å overtale en språkmodell til å innrømme at svaret ble trukket fra tidligere kunnskap, metadata eller generelle antagelser, i stedet for fra innholdet det ble gitt. Kilde: https://chatgpt.com

En mulig årsak til dette er å øke hastigheten på svaret ved å betrakte det lastede materialet som ‘overflødig’, og å basere seg på tekst-prompten for å trekke på systemets tidligere kunnskap – og unngå å laste det opp helt, og på den måten minimere nettverks-trafikk.

En annen årsak kan være ressurbevaring (selv om leverandørene ser ut til å være uvillige til å avsløre dette, hvis det er sant), hvor eksisterende metadata som LLM-ene har trukket fra tidligere utvekslinger i chatten, brukes som grunnlag for videre svar, selv når disse utvekslingene og metadata ikke inneholder nok informasjon til å kunne brukes til dette formålet.

Venstre. Høyre?

Uansett hva årsaken kan være til de varierende oppmerksomhets- og fokus-egenskapene til den nåværende generasjonen av LLM-er, finnes det situasjoner og sammenhenger hvor gjettning er ekstremt farlig. En av disse er når AI-en i spørsmål blir bedt om å yte medisinske tjenester som skrinning eller risikovurdering av radiologisk materiale.

Dette uken ga forskere fra Tyskland og USA ut en ny forskningsstudie som undersøker effekten av fire ledende visuell-språk-modeller, inkludert ChatGPT-4o, når de blir bedt om å identifisere plasseringen av organer i medisinske bilder.

Overraskende, til tross for å representere den nåværende kunnskapsstanden i dette henseende, oppnår basis-modellene ikke høyere suksessrate enn ren tilfeldighet de fleste gangene – tilsynelatende fordi de ikke kan løsne sin trente kunnskap om menneskeanatomi tilstrekkelig, og faktisk se på bildene som presenteres for dem, i stedet for å nå frem til en enkel trent prior fra deres treningsdata.

Forskerne fant at LLM-ene som ble testet, fungerte betydelig bedre når seksjonene som skulle vurderes, var merket med andre indikatorer (slik som punkter og alfanumeriske sekvensindikatorer) samt navngitt – og best av alt når det ikke var noen omtale av organer eller anatomi i spørsmålet overhodet:

Varierte suksessnivåer, økende etterhvert som modellens evne til å trekke på trent data blir redusert, og den blir tvunget til å konsentrere seg om dataene foran den. Kilde: https://wolfda95.github.io/your_other_left/

Artikkelen observerer*:

‘State-of-the-art VLMs already possess strong prior anatomical knowledge embedded within their language components. In other words, they “know” where anatomical structures are typically located in standard human anatomy.

‘We hypothesize that VLMs often base their answers on this prior knowledge rather than analyzing the actual image content. For example, when asked whether the liver is to the right of the stomach, a model might answer affirmatively without inspecting the image, relying solely on the learned norm that the liver is usually located to the right of the stomach.

‘Such behavior could lead to critical misdiagnoses in cases where the actual positions deviate from typical anatomical patterns, such as in situs inversus, post-surgical alterations, or tumor displacement.’

For å mildne problemet i fremtidige forsøk, har forfatterne utviklet en datasett som er designet for å løse dette problemet.

Artikkelen kan være overraskende for mange lesere som har fulgt utviklingen av medisinsk AI, siden radiografi ble merket som en av de jobbene som er mest utsatt for å bli automatisert gjennom maskinlæring.

Den nye studien heter Your other Left! Vision-Language Models Fail to Identify Relative Positions in Medical Images, og kommer fra syv forskere på to fakulteter ved Universitetet i Ulm, og Axiom Bio i USA.

Metode og data

Forskerne satte ut til å svare på fire spørsmål: om state-of-the-art visuell-språk-modeller kan korrekt bestemme relative posisjoner i radiologiske bilder; om bruk av visuelle markører kan forbedre deres ytelse i denne oppgaven; om de avhenger mer av tidligere anatomi-kunnskap enn av den faktiske bilde-innholdet; og hvor godt de håndterer relative posisjonsoppgaver når de er fratatt all medisinsk kontekst.

Til dette formålet kuraterte de Medical Imaging Relative Positioning (MIRP) datasett.

Til tross for at de fleste eksisterende visuell-spørsmål-benchmarkene for CT eller MRI-slices inkluderer anatomi- og lokaliseringsoppgaver, overseer disse eldre samlingene den sentrale utfordringen med å bestemme relative posisjoner, og lar mange oppgaver bli løst ved hjelp av tidligere medisinsk kunnskap alene.

MIRP er designet for å løse dette ved å teste relative posisjons-spørsmål mellom anatomi-strukturer, og vurderer effekten av visuelle markører, og anvender tilfeldige rotasjoner og flipp til å blokkere avhengighet av lært normer. Datasettet fokuserer på abdominale CT-slices, på grunn av deres kompleksitet og utbredelse i radiologi.

MIRP inneholder en likt antall ja og nei svar, med de anatomi-strukturer i hvert spørsmål valgfritt merket for klarhet.

Det ble testet tre typer visuelle markører: sorte tall i en hvit boks; sorte bokstaver i en hvit boks; og en rød og en blå prikk:

De ulike visuelle markørene som ble brukt i MIRP. Kilde: https://arxiv.org/pdf/2508.00549

Samlingen ble hentet fra de eksisterende Beyond the Cranial Vault (BTCV) og Abdominal Multi-Organ Segmentation (AMOS) datasettene.

Annoterte slices fra AMOS-datasett. Kilde: https://arxiv.org/pdf/2206.08023

TotalSegmentator-prosjektet ble brukt til å trekke ut anatomi-flatbilder fra volumetrisk data:

Noen av de 104 anatomi-strukturer som er tilgjengelige i TotalSegmentator. Kilde: https://arxiv.org/pdf/2208.05868

Aksiale bilde-slices ble deretter hentet med SimpleITK-rammeverket.

De ‘utfordrende’ bilde-plasseringer måtte være minst 50px fra hverandre, og ha en størrelse som var minst dobbelt så stor som markørene, for å kunne generere spørsmål/svar-par.

Tester

De fire visuell-språk-modellene som ble testet, var GPT-4o; Llama3.2; Pixtral; og DeepSeek’s JanusPro.

Forskerne testet hver av sine fire forsknings-spørsmål på tur, med det første (Q1) som var ‘Kan nåværende topp-modeller av VLMs korrekt bestemme relative posisjoner i radiologiske bilder? For dette spørsmålet, testet forskerne modellene på vanlige, roterte eller flippede CT-slices, ved hjelp av en standard spørsmåls-format, som Er venstre nyre under magen?.

Resultatene (vist nedenfor) viste nøyaktigheter nær 50 prosent over alle modeller, og indikerte at de ikke kunne pålitelig avgjøre relative posisjoner uten visuelle markører:

Gjennomsnittlig nøyaktighet for alle eksperimenter som bruker bilde-basert vurdering på MIRP-benchmark (RQ1–RQ3) og ablasjons-datasett (AS).

For å teste om visuelle markører kunne hjelpe visuell-språk-modeller til å bestemme relative posisjoner i radiologiske bilder, gjentok studien eksperimentene med CT-slices annotert med bokstaver, tall eller røde og blå prikker; og her var spørsmåls-formatet tilpasset for å referere til disse markørene – for eksempel, Er venstre nyre (A) under magen (B)? eller Er venstre nyre (rød) under magen (blå)?.

Resultatene viste små nøyaktighets-gevinster for GPT-4o og Pixtral når bokstaver eller tall-markører ble brukt, mens JanusPro og Llama3.2 så lite eller ingen forbedring, og indikerte at markører alene kanskje ikke er nok til å forbedre ytelsen betydelig.

Nøyaktighet for alle eksperimenter som bruker bilde-basert vurdering. For RQ2, RQ3, og AS, vises resultatene med den beste markør-typen for hver modell: bokstaver for GPT-4o, og rød-blå prikker for Pixtral, JanusPro, og Llama3.4.

For å løse det tredje spørsmålet, Avhenger VLM-er mer av tidligere anatomi-kunnskap enn av visuell input når de bestemmer relative posisjoner i radiologiske bilder?, undersøkte forfatterne om visuell-språk-modeller avhenger mer av tidligere anatomi-kunnskap enn av visuell bevis når de bestemmer relative posisjoner i radiologiske bilder.

Når de ble testet på roterte eller flippede CT-slices, produserte GPT-4o og Pixtral ofte svar som var konsistente med standard anatomi-posisjoner, i stedet for å reflektere hva som var vist i bildet, med GPT-4o som oppnådde over 75 prosent nøyaktighet på anatomi-basert vurdering, men bare tilfeldig nøyaktighet på bilde-basert vurdering.

Fjerning av anatomi-termer fra promptene og bruk av bare visuelle markører, tvang modellene til å avhenge av bilde-innholdet, og ledet til merkede gevinster, med GPT-4o som overgikk 85 prosent nøyaktighet med bokstav-markører, og Pixtral over 75 prosent med prikker.

En sammenligning av de fire visuell-språk-modellene i å bestemme relative posisjoner av anatomi-strukturer i medisinske bilder – en nøkkel-krav for klinisk bruk. Ytelsen er på tilfeldig nivå med vanlige bilder (RQ1) og viser bare små gevinster med visuelle markører (RQ2). Når anatomi-navn er fjernet og modellene må avhenge helt av markørene, oppnår GPT-4o og Pixtral betydelige nøyaktighets-forbedringer (RQ3). Resultatene vises med hver modells beste markør-type.

Dette indikerer at mens begge kan utføre oppgaven ved hjelp av bilde-data, tenderer de til å defaulte til lært anatomi-priorer når de får anatomi-navn – en mønster som ikke er tydelig observert i JanusPro eller Llama3.2.

Selv om vi vanligvis ikke dekker ablasjons-studier, løste forfatterne det fjerde og siste forsknings-spørsmålet på denne måten. Derfor, for å teste relative posisjons-evne uten noen medisinsk kontekst, brukte studien vanlige hvite bilder med tilfeldig plasserte markører og stillede enkle spørsmål som Er nummer 1 over nummer 2?. Pixtral viste forbedrede resultater med prikk-markører, mens de andre modellene utførte seg likt som deres RQ3-scorer.

JanusPro, og særlig Llama3.2, kjempet selv i denne forenklet settingen, og indikerte underliggende svakheter i relativ posisjonering som ikke er begrenset til medisinske bilder.

Forfatterne observerer at GPT-4o utførte best med bokstav-markører, mens Pixtral, JanusPro og Llama3.2 oppnådde høyere score med rød-blå prikker. GPT-4o var den overordnede beste utføreren, med Pixtral som ledende blant åpne modeller.

Konklusjon

På en personlig note, trakk denne artikkelen min oppmerksomhet ikke så mye på grunn av dens medisinske betydning, men fordi den høydepunkteter en av de mest under-rapporterte og grunnleggende svakhetene til den nåværende bølgen av SOTA LLM-er – at, hvis oppgaven kan unngås, og med mindre du presenterer materialet ditt omsorgsfullt, vil de ikke lese tekstene du laster opp eller undersøke bildene du presenterer for dem.

Studien indikerer videre at hvis din tekst-prompt på noen måte forklarer hva det sekundære lastede materialet er, vil LLM-en tendere til å behandle det som et ‘teleologisk’ eksempel, og vil anta/antakke mange ting om det basert på tidligere kunnskap, i stedet for å studere og vurdere hva du lastet opp.

Effektivt, i denne tilstanden, vil VLM-er ha store vanskeligheter med å identifisere ‘avvikende’ materiale – en av de viktigste ferdighetene i diagnostisk medisin. Mens det er mulig å reversere logikken og få et system til å søke etter outliers i stedet for in-distribution resultater, ville modellen trenge eksepsjonell kurasjon for å unngå å overvelde signalet med irrelevante eller spuriøse eksempler.

* Inline-citater er utelatt, da det ikke finnes noen elegant måte å inkludere dem som hyperlenker. Vennligst se kilde-artikkelen.

Først publisert mandag, 4. august 2025