KI-Modelle haben Schwierigkeiten, Links von Rechts in medizinischen Scans zu unterscheiden

Eine neue Studie zeigt, dass KI-Bildmodelle wie ChatGPT medizinische Scans falsch interpretieren können, was zu gefährlichen Fehlern bei der Diagnose führen kann. Die Tests zeigen, dass sie oft grundlegende räumliche Denkfähigkeiten in medizinischen Scans nicht beherrschen – erraten, wo Organe sein sollten, anstatt tatsächlich auf das Bild zu schauen. Vielleicht von noch größerem Interesse ist, dass die Forschung zeigt, dass diese Modelle möglicherweise Ihre hochgeladenen PDFs oder Bilder überhaupt nicht lesen oder betrachten.

Wer schon einmal regelmäßig Daten wie PDF-Inhalte zu einem führenden Sprachmodell wie ChatGPT hochgeladen hat, weiß, dass LLMs nicht immer unbedingt lesen oder untersuchen, was Sie ihnen präsentieren; stattdessen machen sie oft Annahmen über das Material, basierend auf dem, was Sie in Ihrem Prompt geschrieben haben, als Sie es hochgeladen haben.

Es kann schwierig sein, ein Sprachmodell dazu zu bringen, zuzugeben, dass seine Antwort auf vorherigem Wissen, Metadaten oder allgemeinen Annahmen basiert und nicht auf dem präsentierten Inhalt. Quelle: https://chatgpt.com

Ein möglicher Grund dafür ist, die Antwortgeschwindigkeit zu erhöhen, indem das hochgeladene Material als “redundant” betrachtet wird und das System auf das Text-Prompt zurückgreift, um auf das vorherige Wissen des Systems zurückzugreifen – und so den Upload zu vermeiden und den Netzwerkverkehr zu minimieren.

Ein weiterer Grund ist die Ressourcenschonung (obwohl Anbieter dies wahrscheinlich nicht offenlegen, wenn es zutrifft), wobei die vorhandenen Metadaten, die das LLM aus früheren Gesprächen im Chat extrahiert hat, als Grundlage für weitere Antworten verwendet werden, auch wenn diese Gespräche und Metadaten nicht genug Informationen enthalten, um diesen Zweck zu erfüllen.

Links. Rechts?

Unabhängig vom Grund für die unterschiedliche Aufmerksamkeit und Fokussierfähigkeit der aktuellen Generation von LLMs gibt es Situationen und Kontexte, in denen das Raten extrem gefährlich ist. Eines davon ist, wenn die KI aufgefordert wird, medizinische Dienstleistungen wie Screening oder Risikobewertung von radiologischem Material zu erbringen.

Diese Woche veröffentlichten Forscher aus Deutschland und den USA eine neue Studie, in der die Wirksamkeit von vier führenden Bild-Sprach-Modellen, einschließlich ChatGPT-4o, bei der Identifizierung der Lage von Organen in medizinischen Scans untersucht wurde.

Überraschenderweise erreichten die Basismodelle trotz ihrer Spitzenleistung in diesem Bereich keine höhere Erfolgsrate als reiner Zufall – offensichtlich, weil sie nicht in der Lage waren, ihr trainiertes Wissen über die menschliche Anatomie ausreichend zu trennen und tatsächlich auf die präsentierten Bilder zu schauen, anstatt auf ein einfaches trainiertes Prior aus ihren Trainingsdaten zurückzugreifen.

Die Forscher fanden heraus, dass die LLMs, die getestet wurden, erheblich besser abschnitten, wenn die zu betrachtenden Abschnitte durch andere Indikatoren (wie Punkte und alphanumerische Sequenzindikatoren) sowie benannt wurden – und am besten, wenn keine Erwähnung von Organen oder Anatomie im Query enthalten war:

Variierende Erfolgsraten, die mit der Fähigkeit des Modells, auf trainierte Daten zurückzugreifen, abnehmen und es gezwungen wird, sich auf die vorliegenden Daten zu konzentrieren. Quelle: https://wolfda95.github.io/your_other_left/

Die Studie stellt fest*:

‘State-of-the-art-VLMs verfügen bereits über starkes vorheriges anatomisches Wissen, das in ihren Sprachkomponenten eingebettet ist. Mit anderen Worten, sie “wissen”, wo anatomische Strukturen typischerweise in der Standard-Menschlichen Anatomie liegen.

‘Wir gehen davon aus, dass VLMs oft ihre Antworten auf diesem vorherigen Wissen basieren, anstatt die tatsächlichen Bildinhalte zu analysieren. Zum Beispiel könnte ein Modell, wenn es gefragt wird, ob die Leber rechts vom Magen liegt, bejahen, ohne das Bild zu untersuchen, und sich allein auf das gelernte Norm verlassen, dass die Leber normalerweise rechts vom Magen liegt.

‘Ein solches Verhalten könnte zu kritischen Fehldiagnosen in Fällen führen, in denen die tatsächlichen Positionen von den typischen anatomischen Mustern abweichen, wie bei situs inversus, postoperativen Veränderungen oder Tumorverlagerungen.’

Um das Problem in zukünftigen Bemühungen zu mildern, haben die Autoren ein Dataset entwickelt, das sich mit diesem Problem auseinandersetzt.

Die Ergebnisse der Studie mögen für viele Leser, die die Entwicklung der medizinischen KI verfolgt haben, überraschend sein, da die Radiographie frühzeitig als einer der Jobs identifiziert wurde, die am meisten von der Automatisierung durch maschinelles Lernen betroffen sein würden.

Die neue Arbeit trägt den Titel Ihre andere linke Seite! Bild-Sprach-Modelle können relative Positionen in medizinischen Bildern nicht identifizieren und stammt von sieben Forschern aus zwei Fakultäten der Universität Ulm und Axiom Bio in den USA.

Methode und Daten

Die Forscher versuchten, vier Fragen zu beantworten: ob state-of-the-art-Bild-Sprach-Modelle relative Positionen in radiologischen Bildern korrekt bestimmen können; ob die Verwendung von visuellen Markern ihre Leistung bei dieser Aufgabe verbessert; ob sie mehr auf vorheriges anatomisches Wissen als auf die tatsächlichen Bildinhalte vertrauen; und wie gut sie relative Positionierungsaufgaben bewältigen, wenn sie von jedem medizinischen Kontext befreit werden.

Zu diesem Zweck erstellten sie das Medical Imaging Relative Positioning (MIRP)-Dataset.

Obwohl die meisten vorhandenen visuellen Frage-Antwort-Benchmarks für CT- oder MRT-Scheiben anatomische und Lokalisierungsaufgaben enthalten, übersehen diese älteren Sammlungen die Kernherausforderung der Bestimmung relativer Positionen, wodurch viele Aufgaben allein durch vorheriges medizinisches Wissen lösbar sind.

MIRP soll dies angehen, indem es relative Positionierungsfragen zwischen anatomischen Strukturen testet, die Auswirkung von visuellen Markern bewertet und zufällige Rotationen und Drehungen anwendet, um die Abhängigkeit von gelernten Normen zu vermeiden. Das Dataset konzentriert sich auf abdominale CT-Scheiben aufgrund ihrer Komplexität und Häufigkeit in der Radiologie.

MIRP enthält eine gleiche Anzahl von Ja– und Nein-Antworten, wobei die anatomischen Strukturen in jeder Frage optional zur Klarheit markiert werden.

Es wurden drei Arten von visuellen Markern getestet: schwarze Zahlen in einem weißen Kasten; schwarze Buchstaben in einem weißen Kasten; und ein roter und ein blauer Punkt:

Die verschiedenen visuellen Marker, die in MIRP verwendet werden. Quelle: https://arxiv.org/pdf/2508.00549

Die Sammlung wurde aus den vorhandenen Beyond the Cranial Vault (BTCV) und Abdominal Multi-Organ Segmentation (AMOS)-Datasets erstellt.

Annotierte Scheiben aus dem AMOS-Dataset. Quelle: https://arxiv.org/pdf/2206.08023

Das TotalSegmentator-Projekt wurde verwendet, um anatomische Flachbilder aus volumetrischen Daten zu extrahieren:

Einige der 104 verfügbaren anatomischen Strukturen in TotalSegmentator. Quelle: https://arxiv.org/pdf/2208.05868

Axiale Bildscheiben wurden dann mit dem SimpleITK-Framework erhalten.

Die ‘Herausforderung’-Bildpositionen mussten mindestens 50px voneinander entfernt sein und eine Größe von mindestens doppelter Markergröße haben, um Frage-Antwort-Paare zu generieren.

Tests

Die vier getesteten Bild-Sprach-Modelle waren GPT-4o; Llama3.2; Pixtral; und DeepSeeks JanusPro.

Die Forscher testeten jede ihrer vier Forschungsfragen nacheinander, wobei die erste (Q1) ‘Können aktuelle Top-Tier-VLMs relative Positionen in radiologischen Bildern korrekt bestimmen? Für diese Anfrage testeten die Forscher die Modelle auf plain, rotated oder flipped CT-Scheiben mit einem Standard-Frageformat, wie Ist die linke Niere unter dem Magen?.

Die Ergebnisse (siehe unten) zeigten Genauigkeiten nahe 50 Prozent bei allen Modellen, was auf eine Leistung auf Zufallsniveau und eine Unfähigkeit, relative Positionen ohne visuelle Marker zuverlässig zu beurteilen, hinweist:

Durchschnittliche Genauigkeit für alle Experimente mit bildbasierten Bewertungen auf dem MIRP-Benchmark (RQ1–RQ3) und dem Ablations-Datensatz (AS).

Um zu testen, ob visuelle Marker den Bild-Sprach-Modellen helfen können, relative Positionen in radiologischen Bildern zu bestimmen, wiederholten die Forscher die Experimente mit CT-Scheiben, die mit Buchstaben, Zahlen oder roten und blauen Punkten annotiert waren; und hier wurde das Frageformat angepasst, um auf diese Marker zu verweisen – zum Beispiel Ist die linke Niere (A) unter dem Magen (B)? oder Ist die linke Niere (rot) unter dem Magen (blau)?.

Die Ergebnisse zeigten kleine Genauigkeitsgewinne für GPT-4o und Pixtral, wenn Buchstaben- oder Zahlenmarker verwendet wurden, während JanusPro und Llama3.2 wenig bis keine Vorteile sahen, was darauf hindeutet, dass Marker allein möglicherweise nicht ausreichen, um die Leistung signifikant zu verbessern.

Genauigkeit für alle Experimente mit bildbasierten Bewertungen. Für RQ2, RQ3 und AS werden die Ergebnisse mit dem besten Markertyp für jedes Modell angezeigt: Buchstaben für GPT-4o und rote-blaue Punkte für Pixtral, JanusPro und Llama3.4.

Um die dritte Frage zu beantworten, Vertrauen VLMs mehr auf vorheriges anatomisches Wissen als auf visuelle Eingaben, wenn sie relative Positionen in radiologischen Bildern bestimmen?, untersuchten die Autoren, ob Bild-Sprach-Modelle mehr auf vorheriges anatomisches Wissen als auf visuelle Evidenz vertrauen, wenn sie relative Positionen in radiologischen Bildern bestimmen.

Wenn sie auf rotierte oder gedrehte CT-Scheiben getestet wurden, produzierten GPT-4o und Pixtral oft Antworten, die mit den Standard-Anatomie-Positionen übereinstimmten, anstatt das zu reflektieren, was im Bild gezeigt wurde, wobei GPT-4o über 75 Prozent Genauigkeit bei der anatomiebasierten Bewertung erreichte, aber nur eine Zufallsleistung bei der bildbasierten Bewertung.

Das Entfernen anatomischer Begriffe aus den Prompts und die Verwendung nur visueller Marker zwang die Modelle, auf die Bildinhalte zu vertrauen, was zu deutlichen Gewinnen führte, wobei GPT-4o über 85 Prozent Genauigkeit mit Buchstabenmarkern erreichte und Pixtral über 75 Prozent mit Punkten.

Ein Vergleich der vier Bild-Sprach-Modelle bei der Bestimmung der relativen Positionen von anatomischen Strukturen in medizinischen Bildern – eine wichtige Anforderung für den klinischen Einsatz. Die Leistung liegt auf Zufallsniveau bei plainen Bildern (RQ1) und zeigt nur geringe Gewinne mit visuellen Markern (RQ2). Wenn anatomische Namen entfernt werden und die Modelle sich ausschließlich auf die Marker verlassen müssen, erreichen GPT-4o und Pixtral deutliche Genauigkeitsverbesserungen (RQ3). Die Ergebnisse werden mit dem besten Markertyp für jedes Modell angezeigt.

Dies deutet darauf hin, dass beide Modelle die Aufgabe mithilfe von Bildaten ausführen können, aber tendenziell auf gelernte anatomische Priors zurückgreifen, wenn anatomische Namen gegeben sind – ein Muster, das bei JanusPro oder Llama3.2 nicht klar zu beobachten ist.

Obwohl wir normalerweise keine Ablationsstudien abdecken, haben die Autoren die vierte und letzte Forschungsfrage auf diese Weise behandelt. Daher wurde die relative Positionierungsfähigkeit ohne jeden medizinischen Kontext getestet, indem die Studie einfache weiße Bilder mit zufällig platzierten Markern verwendete und einfache Fragen wie Ist die Nummer 1 über der Nummer 2? stellte. Pixtral zeigte verbesserte Ergebnisse mit Punktmarkern, während die anderen Modelle ähnliche Ergebnisse wie ihre RQ3-Ergebnisse erzielten.

JanusPro und insbesondere Llama3.2 hatten Schwierigkeiten, sogar in diesem vereinfachten Setting, was auf zugrunde liegende Schwächen in der relativen Positionierung hinweist, die nicht auf medizinische Bilder beschränkt sind.

Die Autoren stellen fest, dass GPT-4o mit Buchstabenmarkern am besten abschnitt, während Pixtral, JanusPro und Llama3.2 höhere Punktzahlen mit roten-blauen Punkten erzielten. GPT-4o war der Gesamtsieger, während Pixtral unter den Open-Source-Modellen führend war.

Schlussfolgerung

Persönlich hat mich diese Studie nicht so sehr wegen ihrer medizinischen Bedeutung interessiert, sondern weil sie einen der am wenigsten berichteten und grundlegendsten Mängel der aktuellen Welle von SOTA-LLMs hervorhebt – dass, wenn die Aufgabe vermieden werden kann und es Ihnen nicht gelingt, Ihr Material sorgfältig vorzustellen, sie nicht den Text lesen oder das Bild untersuchen, das Sie ihnen präsentieren.

Weiterhin zeigt die Studie, dass, wenn Ihre Text-Prompt auf irgendeine Weise den sekundären vorgelegten Material erklärt, das LLM tendenziell dieses als ‘teleologisches’ Beispiel behandelt und viele Dinge darüber annimmt, basierend auf vorherigem Wissen, anstatt es zu untersuchen und zu berücksichtigen, was Sie vorgelegt haben.

Effektiv bedeutet dies, dass VLMs große Schwierigkeiten haben werden, ‘aberrantes’ Material zu identifizieren – eine der wichtigsten Fähigkeiten in der diagnostischen Medizin. Es ist möglich, die Logik umzukehren und ein System zu entwickeln, das nach Ausreißern sucht, anstatt nach Ergebnissen innerhalb der Verteilung, aber das Modell würde eine außergewöhnliche Kuratierung benötigen, um das Signal nicht mit irrelevanten oder falschen Beispielen zu überwältigen.

* Inline-Zitate wurden weggelassen, da es keine elegante Möglichkeit gibt, sie als Hyperlinks einzufügen. Bitte beachten Sie die Quellenangabe.

Erstveröffentlichung am Montag, den 4. August 2025