AIは医療画像で左右を区別できずに苦戦

新しい研究によると、ChatGPT のような AI 画像モデルは、反転または回転した解剖学的構造を誤読し、診断における危険なエラーのリスクを高めることが判明しました。テストでは、医療スキャンにおいて基本的な空間推論にしばしば失敗することが示されています – 推測で臓器があるべき位置を予測し、実際に画像を見るのではありません。より広い関心として、本研究はこれらのモデルがアップロードされた PDF を読んでいない、あるいは画像を全く見ていない可能性があることを示しています。

ChatGPTのような主要な言語モデルにPDFコンテンツなどのデータを定期的にアップロードしたことがある人は、LLMが提示された内容を必ずしも読んだり検証したりしないことを知っているでしょう。むしろ、アップロード時にプロンプトで書いた内容に基づいて推測を行うことが多いのです。

言語モデルに、回答が提示されたコンテンツではなく、事前知識、メタデータ、一般的な推測に基づいていることを認めさせるのは難しいです。 Source: https://chatgpt.com

このようになる一つの理由は、アップロードされた資料を「冗長」とみなし、テキストプロンプトだけでシステムの事前知識を引き出すことで応答速度を上げ、アップロード自体を回避し、結果としてネットワークトラフィックを最小化することです。

もう一つはリソースの節約です（提供者がこれを公表する可能性は低いですが、事実であれば）。チャット内の以前のやり取りからLLMが抽出した既存のメタデータが、さらなる回答の基礎として使用されますが、これらのやり取りやメタデータが目的に十分な情報を含んでいなくても同様です。

左か、右か？

現在の世代のLLMが注意力や集中力にばらつきがある理由は何であれ、推測が極めて危険になる状況や文脈があります。その一つが、AIに医療サービス、たとえばスクリーニングや放射線物質のリスク推定を求められる場合です。

今週、ドイツと米国の研究者らは、ChatGPT-4oを含む4つの主要なビジョン・ラングエッジモデルの有効性を、医療画像における臓器位置の特定を求める形で検証した新たな研究を発表しました。

驚くべきことに、最先端とされるこれらのベースモデルは、ほとんどの場合、純粋な偶然以上の成功率を示さず、これはモデルが人間の解剖学に関する学習済み知識を十分に切り離せず、提示された画像を実際に見ることなく、訓練データからの容易な事前知識に頼っているためと考えられます。

研究者らは、検討対象のセクションが点や英数字のシーケンス指標などの他の指標で示され、かつ名称が付けられている場合、さらに質問に臓器や解剖学に関する言及が全く含まれない場合に、LLMの性能が著しく向上することを発見しました。

モデルが訓練データに依存する度合いが低下し、目の前のデータに集中せざるを得なくなるほど、成功率は多様に上昇します。 Source: https://wolfda95.github.io/your_other_left/

論文は次のように観察しています*:

「最先端のVLMは、言語コンポーネントに強固な事前解剖学知識をすでに備えている。言い換えれば、標準的な人体解剖において解剖学的構造が通常どこにあるかを『知っている』」

「我々は、VLMが実際の画像内容を分析するのではなく、この事前知識に基づいて回答することが多いと仮定する。例えば、肝臓が胃の右側にあるかどうかを尋ねられた際、モデルは画像を検査せずに、肝臓は通常胃の右側にあるという学習済みの常識だけに頼って肯定的に答える可能性がある」

‘このような振る舞いは、実際の位置が典型的な解剖パターンと異なる場合、例えば situs inversus、手術後の変形、または腫瘍の変位などで、重大な誤診につながる可能性があります。’

今後の研究でこの問題を緩和するために、著者らはこの課題に取り組むためのデータセットを作成しました。

放射線診断は非常に早い段階で、機械学習による自動化のリスクが高い職種の一つと見なされていたため、医療AIの発展を追ってきた多くの読者にとって本論文の発見は驚きとなるでしょう。

この新しい研究は『Your other Left! Vision-Language Models Fail to Identify Relative Positions in Medical Images』と題され、ウルム大学の2つの学部と米国のAxiom Bioに所属する7人の研究者によって行われました。

方法とデータ

研究者らは次の4つの課題に答えることを目指した：最先端のビジョン・ランゲージモデルが放射線画像における相対位置を正確に判定できるか、視覚マーカーの使用がこのタスクの性能を向上させるか、実画像の内容よりも事前の解剖学的知識に依存するか、そして医療的文脈が除かれた状態で相対位置タスクをどれだけうまく処理できるか、である。

この目的のため、彼らはMedical Imaging Relative Positioning（MIRP）データセットを作成した。

CTやMRIスライス向けの既存の視覚的質問応答ベンチマークの多くは解剖学的および位置特定タスクを含んでいるが、これらの従来のコレクションは相対位置の判定という根本的課題を見落としており、事前の医療知識だけで解けるタスクが多数残っている。

MIRPは、解剖学的構造間の相対位置に関する質問をテストし、視覚マーカーの影響を評価し、ランダムな回転や反転を適用して学習された規範への依存を防ぐことで、この課題に取り組むよう設計されている。データセットは放射線診断での複雑さと頻度の高さから、腹部CTスライスに焦点を当てている。

MIRPはyesとnoの回答が同数含まれ、各質問の解剖学的構造は必要に応じて明示的にマークされている。

3種類の視覚マーカーがテストされた：白枠内の黒い数字、白枠内の黒い文字、そして赤と青の点：

MIRPで使用されたさまざまな視覚マーカー。 出典: https://arxiv.org/pdf/2508.00549

このコレクションは、既存のBeyond the Cranial Vault（BTCV）およびAbdominal Multi-Organ Segmentation（AMOS）データセットから取得された。

AMOSデータセットからの注釈付きスライス。 出典: https://arxiv.org/pdf/2206.08023

TotalSegmentatorプロジェクトを使用して、体積データから解剖学的な平面画像を抽出した：

TotalSegmentatorで利用可能な104の解剖学的構造の一部。 出典: https://arxiv.org/pdf/2208.05868

その後、SimpleITKフレームワークを用いて軸方向画像スライスを取得した。

「チャレンジ」画像の位置は少なくとも50ピクセル離れており、マーカーのサイズの少なくとも2倍の大きさでなければならず、質問/回答ペアを生成できるようにした。

テスト

テストされた4つのビジョン・ランゲージモデルは、GPT-4o、Llama3.2、Pixtral、およびDeepSeekのJanusProである。

研究者は4つの研究質問を順にテストし、最初の質問（Q1）は「現在の最先端VLMは放射線画像における相対位置を正確に判定できるか？」であった。この問いに対し、研究者は標準的な質問形式（例：左腎は胃の下にありますか？）を用いて、平坦、回転、または反転したCTスライス上でモデルをテストした。

結果（以下参照）は、すべてのモデルで精度が約50％に留まり、偶然レベルの性能であり、視覚マーカーなしでは相対位置を信頼性をもって判断できないことを示した：

MIRPベンチマーク（RQ1–RQ3）およびアブレーションデータセット（AS）における画像ベース評価を用いたすべての実験の平均精度。

視覚マーカーが放射線画像における相対位置判定を支援できるかをテストするため、研究は文字、数字、または赤・青の点で注釈されたCTスライスを用いて実験を再実施した。ここでは質問形式をこれらのマーカーに言及する形に調整し、例として左腎（A）は胃（B）の下にありますか？または左腎（赤）は胃（青）の下にありますか？とした。

結果は、文字または数字のマーカーを使用した場合、GPT-4oとPixtralでわずかな精度向上が見られた一方、JanusProとLlama3.2はほとんど効果がなく、マーカーだけでは性能を大幅に向上させるには不十分であることを示唆した。

画像ベース評価を用いたすべての実験の精度。RQ2、RQ3、ASについては、各モデルで最も性能が良かったマーカータイプを示す：GPT-4oは文字、Pixtral、JanusPro、Llama3.4は赤・青の点。

第3の質問に対処するため、VLMは放射線画像における相対位置を決定する際、視覚入力よりも事前の解剖学的知識を優先しますか？、著者らは視覚言語モデルが放射線画像の相対位置を決定する際、視覚的証拠よりも事前の解剖学的知識に依存しているかどうかを調査した。

回転または反転させたCTスライスでテストしたところ、GPT-4o と Pixtral は画像に示された内容を反映するよりも、標準的な解剖学的位置と一致した回答を頻繁に出し、GPT-4o は解剖学ベースの評価で75％以上の正確性を達成したが、画像ベースの評価では偶然レベルの性能にとどまった。

プロンプトから解剖学用語を除き視覚マーカーのみを使用すると、モデルは画像内容に依存せざるを得ず、顕著な向上が見られた。GPT-4o は文字マーカーで85％以上の正確性を超え、Pixtral はドットで75％超の正確性を示した。

医療画像における解剖学構造の相対位置を判断する四つの視覚言語モデルの比較 – 臨床利用の重要な要件。プレーン画像では性能が偶然レベルにとどまり（RQ1）、視覚マーカーを使用してもわずかな向上しか見られない（RQ2）。解剖学名を除去しモデルが完全にマーカーに依存する場合、GPT-4o と Pixtral は大幅な正確性向上を達成する（RQ3）。結果は各モデルの最良パフォーマンスを示すマーカータイプで示されている。

これは、両者とも画像データを用いてタスクを実行できるものの、解剖学名が与えられると学習済みの解剖学的事前知識にデフォルトで頼る傾向があることを示唆しており、このパターンは JanusPro や Llama3.2 では明確に見られない。

我々は通常アブレーション研究を扱わないが、著者らは第四の研究質問をこのように扱った。したがって、医療的文脈なしで相対位置能力をテストするために、白い平面画像にランダムに配置したマーカーを用い、数字の1は数字の2の上にありますか？といった単純な質問をした。Pixtral はドットマーカーで結果が改善されたが、他のモデルは RQ3 のスコアと同様の性能だった。

JanusPro、特に Llama3.2 はこの単純化された設定でも苦戦し、医療画像に限らない相対位置の根本的な弱点があることを示している。

著者らは、GPT-4o が文字マーカーで最良の性能を示し、Pixtral、JanusPro、Llama3.2 は赤青ドットでより高いスコアを得たことを観察した。GPT-4o が全体で最上位のパフォーマンスを示し、オープンソースモデルの中では Pixtral がリーダーであった。

結論

個人的な感想として、この論文に興味を持ったのは医療的意義というより、現在の最先端 LLM の波で最も報告が少なく根本的な欠点の一つを浮き彫りにしている点である――タスクを回避でき、かつ資料を慎重に提示しない限り、彼らは読まないあなたがアップロードしたテキストや提示した画像を検査しないだろう。

さらに、研究はテキストプロンプトが二次的に提出された資料を何らかの形で説明している場合、LLM はそれを「目的論的」な例として扱い、事前知識に基づいて多くのことを推測・仮定する傾向があり、提出された内容を実際に検証・考慮することは少ないことを示している。

実際、現状では VLM は「異常」な資料を特定することが極めて困難であり、これは診断医療において最も重要なスキルの一つである。ロジックを逆転させて分布内の結果ではなく外れ値を探すシステムを構築することは可能だが、モデルは無関係または偽の例で信号が埋もれないよう、極めて厳格なキュレーションが必要になる。

* インライン引用は省略しています。ハイパーリンクとして含める適切な方法がないためです。元論文をご参照ください。

初版掲載：2025年8月4日月曜日