Trí tuệ nhân tạo gặp khó khăn khi xác định trái và phải trong các bản quét y tế

Một nghiên cứu mới cho thấy rằng các mô hình hình ảnh trí tuệ nhân tạo như ChatGPT có thể đọc sai giải phẫu bị lật hoặc xoay, làm tăng nguy cơ mắc lỗi nguy hiểm trong chẩn đoán, với các thử nghiệm chỉ ra rằng chúng thường thất bại trong việc suy luận không gian cơ bản trong các bản quét y tế – đoán nơi các cơ quan nên được, thay vì thực sự nhìn vào hình ảnh. Có thể là điều thú vị hơn, nghiên cứu cho thấy rằng những mô hình này có thể không đọc các tệp PDF bạn tải lên hoặc nhìn vào hình ảnh của bạn.

Bất kỳ ai đã từng thường xuyên tải lên dữ liệu, chẳng hạn như nội dung PDF, lên một mô hình ngôn ngữ hàng đầu như ChatGPT sẽ biết rằng các mô hình ngôn ngữ lớn không luôn đọc hoặc xem xét những gì bạn trình bày cho chúng; thay vào đó, chúng thường giả định về tài liệu dựa trên những gì bạn viết về nó trong lời nhắc khi bạn tải nó lên.

Thật khó để thuyết phục một mô hình ngôn ngữ thừa nhận rằng câu trả lời của nó được rút ra từ kiến thức trước đó, siêu dữ liệu hoặc giả định chung chứ không phải từ nội dung nó được đưa ra. Nguồn: https://chatgpt.com

Một lý do có thể là để tăng tốc độ phản hồi bằng cách coi tài liệu tải lên là ‘thừa’, và dựa vào lời nhắc văn bản để dựa vào kiến thức trước đó của hệ thống – tránh tải lên hoàn toàn và trong quá trình đó giảm thiểu lưu lượng mạng.

Một lý do khác là bảo tồn tài nguyên (mặc dù các nhà cung cấp có vẻ không muốn tiết lộ điều này, nếu đúng), nơi siêu dữ liệu hiện có mà mô hình ngôn ngữ lớn đã trích xuất từ trao đổi trước đó trong cuộc trò chuyện được sử dụng làm cơ sở cho các câu trả lời tiếp theo, ngay cả khi những trao đổi và siêu dữ liệu đó không chứa đủ thông tin để phục vụ mục đích này.

Trái. Phải?

Bất kể lý do nào cho sự chú ý và khả năng tập trung khác nhau của thế hệ mô hình ngôn ngữ lớn hiện tại, có những tình huống và ngữ cảnh mà việc đoán là cực kỳ nguy hiểm. Một trong những tình huống này là khi trí tuệ nhân tạo được yêu cầu cung cấp dịch vụ y tế như sàng lọc hoặc đánh giá rủi ro của vật liệu bức xạ.

Tuần này, các nhà nghiên cứu từ Đức và Mỹ đã phát hành một nghiên cứu mới để kiểm tra hiệu quả của bốn mô hình ngôn ngữ tầm nhìn hàng đầu, bao gồm ChatGPT-4o, khi được yêu cầu xác định vị trí của các cơ quan trong các bản quét y tế.

Điều đáng ngạc nhiên là, mặc dù đại diện cho trạng thái hiện tại của công nghệ này, các mô hình cơ bản đạt được tỷ lệ thành công không cao hơn may mắn hầu hết thời gian – rõ ràng là vì chúng không thể tách kiến thức giải phẫu được đào tạo của chúng một cách đầy đủ và thực sự nhìn vào hình ảnh được trình bày cho chúng, thay vào đó là dựa vào kiến thức trước đã được đào tạo.

Các nhà nghiên cứu đã phát hiện ra rằng các mô hình ngôn ngữ tầm nhìn được thử nghiệm hoạt động tốt hơn đáng kể khi các phần cần xem xét được chỉ định bởi các chỉ số khác (chẳng hạn như chấm và trình tự chữ cái và số) cũng như được đặt tên – và hoạt động tốt nhất khi không có đề cập đến các cơ quan hoặc giải phẫu trong câu hỏi:

Mức độ thành công khác nhau, tăng khi khả năng của mô hình để dựa vào dữ liệu được đào tạo giảm và nó bị buộc phải tập trung vào dữ liệu trước mặt nó. Nguồn: https://wolfda95.github.io/your_other_left/

Bản thảo cho biết*:

‘Các mô hình ngôn ngữ tầm nhìn hiện đại đã có kiến thức giải phẫu trước mạnh mẽ được nhúng trong các thành phần ngôn ngữ của chúng. Nói cách khác, chúng “biết” vị trí của các cấu trúc giải phẫu trong giải phẫu tiêu chuẩn của con người.

‘Chúng tôi đưa ra giả thuyết rằng các mô hình ngôn ngữ tầm nhìn thường dựa vào kiến thức trước này hơn là phân tích nội dung hình ảnh thực tế. Ví dụ, khi được hỏi liệu gan có ở bên phải của dạ dày, một mô hình có thể trả lời khẳng định mà không cần kiểm tra hình ảnh, chỉ dựa vào kiến thức đã học rằng gan thường nằm ở bên phải của dạ dày.

‘Loại hành vi này có thể dẫn đến chẩn đoán sai nghiêm trọng trong các trường hợp vị trí thực tế khác với mô hình giải phẫu điển hình, chẳng hạn như situs inversus, thay đổi sau phẫu thuật hoặc di chuyển khối u.’

Để giảm thiểu vấn đề trong các nỗ lực trong tương lai, các tác giả đã phát triển một tập dữ liệu được thiết kế để giải quyết vấn đề này.

Phát hiện của bài báo có thể sẽ gây ngạc nhiên cho nhiều người đọc đã theo dõi sự phát triển của trí tuệ nhân tạo y tế, vì radiography đã được đánh dấu rất sớm là một trong những công việc có nguy cơ cao nhất bị tự động hóa thông qua học máy.

Công việc mới này được gọi là Bạn khác của tôi! Mô hình ngôn ngữ tầm nhìn thất bại trong việc xác định vị trí tương đối trong hình ảnh y tế, và đến từ bảy nhà nghiên cứu trên hai khoa tại Đại học Ulm, và Axiom Bio ở Mỹ.

Phương pháp và Dữ liệu

Các nhà nghiên cứu đã đặt ra để trả lời bốn vấn đề: liệu các mô hình ngôn ngữ tầm nhìn hiện đại có thể xác định đúng vị trí tương đối trong hình ảnh y tế; liệu việc sử dụng các chỉ số trực quan có cải thiện hiệu suất của chúng trong nhiệm vụ này; liệu chúng dựa vào kiến thức giải phẫu trước hơn là nội dung hình ảnh thực tế; và chúng xử lý tốt như thế nào các nhiệm vụ định vị tương đối khi bị tước đi bất kỳ ngữ cảnh y tế nào.

Để làm điều này, họ đã tạo ra tập dữ liệu Định vị tương đối hình ảnh y tế (MIRP)。

Mặc dù hầu hết các chuẩn mực câu hỏi trực quan hiện có cho các lát cắt CT hoặc MRI bao gồm các nhiệm vụ giải phẫu và định vị, nhưng những tập hợp cũ này bỏ qua thách thức cốt lõi của việc xác định vị trí tương đối, để lại nhiều nhiệm vụ có thể được giải quyết bằng kiến thức y tế trước.

MIRP được thiết kế để giải quyết vấn đề này bằng cách kiểm tra các câu hỏi về vị trí tương đối giữa các cấu trúc giải phẫu, đánh giá tác động của các chỉ số trực quan và áp dụng các xoay và lật ngẫu nhiên để chặn sự phụ thuộc vào các chuẩn mực đã học. Tập dữ liệu tập trung vào các lát cắt CT bụng, do sự phức tạp và phổ biến của chúng trong radiology.

MIRP chứa số lượng câu trả lời có và không bằng nhau, với các cấu trúc giải phẫu trong mỗi câu hỏi tùy chọn được đánh dấu để rõ ràng.

Ba loại chỉ số trực quan đã được thử nghiệm: số đen trong hộp trắng; chữ đen trong hộp trắng; và một chấm đỏ và một chấm xanh:

Các chỉ số trực quan khác nhau được sử dụng trong MIRP. Nguồn: https://arxiv.org/pdf/2508.00549

Tập hợp này được lấy từ các tập dữ liệu hiện có Beyond the Cranial Vault (BTCV) và Abdominal Multi-Organ Segmentation (AMOS)。

Các lát cắt được chú thích từ tập dữ liệu AMOS. Nguồn: https://arxiv.org/pdf/2206.08023

Dự án TotalSegmentator đã được sử dụng để trích xuất các hình ảnh phẳng giải phẫu từ dữ liệu thể tích:

Một số cấu trúc giải phẫu trong số 104 cấu trúc có sẵn trong TotalSegmentator. Nguồn: https://arxiv.org/pdf/2208.05868

Các lát cắt hình ảnh trục được lấy bằng khuôn khổ SimpleITK.

Các vị trí ‘thử thách’ của hình ảnh phải cách nhau ít nhất 50px và phải có kích thước ít nhất gấp đôi so với các chỉ số, để tạo ra các cặp câu hỏi và câu trả lời.

Thử nghiệm

Bốn mô hình ngôn ngữ tầm nhìn được thử nghiệm là GPT-4o; Llama3.2; Pixtral; và JanusPro của DeepSeek.

Các nhà nghiên cứu đã thử nghiệm từng câu hỏi nghiên cứu của họ một cách lần lượt, với câu hỏi đầu tiên (Q1) là ‘Liệu các mô hình ngôn ngữ tầm nhìn hàng đầu hiện tại có thể xác định chính xác vị trí tương đối trong hình ảnh y tế không? Đối với câu hỏi này, các nhà nghiên cứu đã thử nghiệm các mô hình trên các lát cắt CT thông thường, xoay hoặc lật bằng định dạng câu hỏi tiêu chuẩn, chẳng hạn như Thận trái có ở dưới dạ dày không?.

Kết quả (hiển thị dưới đây) cho thấy độ chính xác gần 50 phần trăm trên tất cả các mô hình, chỉ ra hiệu suất ở mức may mắn và không thể đoán vị trí tương đối một cách đáng tin cậy mà không có chỉ số trực quan:

Độ chính xác trung bình cho tất cả các thí nghiệm sử dụng đánh giá dựa trên hình ảnh trên chuẩn mực MIRP (RQ1–RQ3) và tập dữ liệu ablation (AS).

Để kiểm tra xem các chỉ số trực quan có thể giúp các mô hình ngôn ngữ tầm nhìn xác định vị trí tương đối trong hình ảnh y tế, nghiên cứu đã lặp lại các thí nghiệm bằng cách sử dụng các lát cắt CT được chú thích bằng chữ cái, số hoặc chấm đỏ và xanh; và ở đây, định dạng câu hỏi đã được điều chỉnh để tham khảo các chỉ số này – ví dụ, Thận trái (A) có ở dưới dạ dày (B) không? hoặc Thận trái (đỏ) có ở dưới dạ dày (xanh) không?.

Kết quả cho thấy sự tăng độ chính xác nhỏ cho GPT-4o và Pixtral khi sử dụng chỉ số chữ cái hoặc số, trong khi JanusPro và Llama3.2 thấy rất ít hoặc không có lợi ích, cho thấy rằng chỉ số trực quan alone có thể không đủ để cải thiện đáng kể hiệu suất.

Độ chính xác cho tất cả các thí nghiệm sử dụng đánh giá dựa trên hình ảnh. Đối với RQ2, RQ3 và AS, kết quả được hiển thị với loại chỉ số hiệu suất tốt nhất cho mỗi mô hình: chữ cái cho GPT-4o, và chấm đỏ-xanh cho Pixtral, JanusPro và Llama3.4.

Để giải quyết câu hỏi thứ ba, Liệu các mô hình ngôn ngữ tầm nhìn dựa vào kiến thức giải phẫu trước hơn là đầu vào trực quan khi xác định vị trí tương đối trong hình ảnh y tế?, các tác giả đã kiểm tra xem các mô hình ngôn ngữ tầm nhìn có dựa vào kiến thức giải phẫu trước hơn là bằng chứng trực quan khi xác định vị trí tương đối trong hình ảnh y tế.

Khi được thử nghiệm trên các lát cắt CT xoay hoặc lật, GPT-4o và Pixtral thường tạo ra các câu trả lời nhất quán với các vị trí giải phẫu tiêu chuẩn, thay vì phản ánh những gì được hiển thị trong hình ảnh, với GPT-4o đạt được hơn 75 phần trăm độ chính xác trên đánh giá dựa trên giải phẫu, nhưng chỉ đạt hiệu suất ở mức may mắn trên đánh giá dựa trên hình ảnh.

Loại bỏ các thuật ngữ giải phẫu khỏi lời nhắc và chỉ sử dụng các chỉ số trực quan buộc các mô hình phải dựa vào nội dung hình ảnh, dẫn đến lợi ích đáng kể, với GPT-4o vượt quá 85 phần trăm độ chính xác với chỉ số chữ cái, và Pixtral trên 75 phần trăm với chấm.

So sánh bốn mô hình ngôn ngữ tầm nhìn trong việc xác định vị trí tương đối của các cấu trúc giải phẫu trong hình ảnh y tế – một yêu cầu quan trọng cho sử dụng lâm sàng. Hiệu suất ở mức may mắn với hình ảnh thông thường (RQ1) và chỉ cho thấy lợi ích nhỏ với chỉ số trực quan (RQ2). Khi tên giải phẫu bị xóa và mô hình phải dựa hoàn toàn vào chỉ số, GPT-4o và Pixtral đạt được sự cải thiện độ chính xác đáng kể (RQ3). Kết quả được hiển thị bằng loại chỉ số hiệu suất tốt nhất cho mỗi mô hình.

Điều này cho thấy rằng trong khi cả hai mô hình đều có thể thực hiện nhiệm vụ bằng cách sử dụng dữ liệu hình ảnh, chúng có xu hướng dựa vào các tiên đề giải phẫu đã học khi được đưa ra tên giải phẫu – một mẫu không được quan sát rõ ràng ở JanusPro hoặc Llama3.2.

Mặc dù chúng tôi không thường bao gồm các nghiên cứu ablation, nhưng các tác giả đã giải quyết câu hỏi nghiên cứu thứ tư và cuối cùng theo cách này. Do đó, để kiểm tra khả năng định vị tương đối mà không có bất kỳ ngữ cảnh y tế nào, nghiên cứu đã sử dụng hình ảnh trắng thông thường với các chỉ số được đặt ngẫu nhiên và hỏi các câu hỏi đơn giản như Số 1 có ở trên số 2 không?. Pixtral đã cho thấy kết quả cải thiện với chỉ số chấm, trong khi các mô hình khác hoạt động tương tự như điểm số RQ3 của chúng.

JanusPro, và đặc biệt là Llama3.2, gặp khó khăn ngay cả trong môi trường đơn giản này, cho thấy những điểm yếu cơ bản trong định vị tương đối không giới hạn ở hình ảnh y tế.

Các tác giả quan sát thấy rằng GPT-4o hoạt động tốt nhất với chỉ số chữ cái, trong khi Pixtral, JanusPro và Llama3.2 đạt được điểm số cao hơn với chấm đỏ-xanh. GPT-4o là mô hình hoạt động tốt nhất, với Pixtral dẫn đầu trong số các mô hình mã nguồn mở.

Kết luận

Về một lưu ý cá nhân, bài báo này đã thu hút sự quan tâm của tôi không phải vì tầm quan trọng y tế của nó, mà vì nó làm nổi bật một trong những điểm yếu cơ bản và ít được báo cáo nhất của làn sóng mô hình ngôn ngữ lớn hiện tại – rằng, nếu nhiệm vụ có thể tránh được, và trừ khi bạn trình bày tài liệu của mình một cách cẩn thận, chúng sẽ không đọc văn bản bạn tải lên hoặc xem xét hình ảnh bạn trình bày cho chúng.

Ngoài ra, nghiên cứu cho thấy rằng nếu lời nhắc văn bản của bạn ở bất kỳ cách nào giải thích tài liệu thứ cấp được gửi, mô hình ngôn ngữ lớn sẽ có xu hướng coi nó là một ví dụ ‘điện thoại’, và sẽ giả định / giả định nhiều điều về nó dựa trên kiến thức trước đó, thay vì nghiên cứu và xem xét những gì bạn đã gửi.

Hiệu quả là, tại thời điểm này, các mô hình ngôn ngữ tầm nhìn sẽ gặp rất nhiều khó khăn trong việc xác định ‘vật liệu dị thường’ – một trong những kỹ năng thiết yếu nhất trong y học chẩn đoán. Mặc dù có thể đảo ngược logic và có một hệ thống tìm kiếm các ngoại lệ thay vì kết quả trong phân phối, mô hình sẽ cần có sự kiểm duyệt đặc biệt để tránh làm cho tín hiệu bị áp đảo bởi các ví dụ không liên quan hoặc giả.

* Trích dẫn nội tuyến bị bỏ qua, vì không có cách nào để bao gồm chúng dưới dạng siêu liên kết. Vui lòng tham khảo bài báo nguồn.

Được xuất bản lần đầu vào thứ Hai, ngày 4 tháng 8 năm 2025