Protege ra mắt các bài kiểm tra độc lập về AI trong y tế khi Disease Odyssey phơi bày những khoảng trống trong chẩn đoán

Protege đang triển khai các đánh giá độc lập về AI trong y tế, đưa các mô hình vào kiểm tra bằng những hồ sơ bệnh nhân mà chúng chưa từng tiếp xúc. Bài đánh giá chuẩn đầu tiên của công ty, Disease Odyssey, cho thấy bước đầu vì sao điều này quan trọng: theo công ty, các mô hình hàng đầu chỉ xác định được những bệnh như ngưng thở khi ngủ và thiếu máu trong 53%–69% số trường hợp khi dựa trên bệnh sử của bệnh nhân.

Đợt ra mắt ngày 21 tháng 10 cũng bao gồm các đánh giá phối hợp với Xlue AI và Standard Model Biomedicine. Nhìn chung, kết quả giải đáp hai câu hỏi quan trọng đối với bệnh viện và nhà phát triển: liệu một mô hình có thể trích xuất các dấu hiệu lâm sàng hữu ích từ hồ sơ thực tế hay không, và chi phí để tạo ra những dự đoán đó là bao nhiêu.

Protege hướng đến việc chuyển phần lớn hoạt động đánh giá đó ra khỏi các tổ chức xây dựng mô hình. Công ty thiết kế, tiến hành và chấm điểm các bài đánh giá bằng hồ sơ bệnh nhân được bảo vệ quyền riêng tư cùng câu trả lời đã được bác sĩ xác minh, qua đó giúp nhà phát triển nhận diện điểm yếu trước khi đưa ra những tuyên bố rộng hơn về hiệu suất.

Một kiểu kiểm tra khác với việc trả lời câu hỏi trong kỳ thi y khoa

Một câu hỏi y khoa nêu rõ chẩn đoán khác hẳn với bệnh sử của bệnh nhân được ghi nhận qua nhiều lần thăm khám. Triệu chứng phát triển theo thời gian, hồ sơ có thể không đầy đủ, và manh mối quyết định có thể bị vùi lấp giữa những thông tin ít liên quan hơn. Disease Odyssey tập trung vào việc nhận diện bệnh trước khi được chẩn đoán dựa trên những bệnh sử theo thời gian này.

Khoảng 53%–69% được báo cáo áp dụng cho các trường hợp và bệnh trạng đã được kiểm tra, chứ không đại diện cho toàn bộ lĩnh vực AI trong y tế. Thông báo của Protege không cung cấp đủ thông tin chi tiết về cỡ mẫu, các mô hình đối chiếu cụ thể hay mức độ bất định của kết quả để đưa ra xếp hạng rộng hơn. Tuy nhiên, kết quả cho thấy vẫn còn nhiều dư địa để cải thiện trong bài đánh giá chuẩn ban đầu của công ty.

“AI trong y tế đang phát triển nhanh chóng, nhưng cách chúng ta đánh giá công nghệ này vẫn chưa theo kịp”, Bobby Samuels, đồng sáng lập kiêm CEO của Protege, cho biết trong thông báo.

Protege tách biệt hoạt động kiểm tra với quá trình phát triển như thế nào

Protege mô tả quy trình của mình là mù đôi: bên xây dựng mô hình không được xem trước dữ liệu bệnh nhân hoặc câu hỏi, còn Protege đánh giá các hệ thống mà không biết chúng được xây dựng như thế nào. Ở đây, thuật ngữ này chỉ cách thức tổ chức đánh giá, chứ không phải một thử nghiệm lâm sàng ngẫu nhiên.

Việc không đưa tài liệu kiểm tra vào quá trình phát triển rất quan trọng, bởi nếu tiếp xúc với câu hỏi trong bài đánh giá chuẩn, hiệu suất có vẻ đạt được có thể bị thổi phồng. Một mô hình từng gặp câu trả lời trong quá trình huấn luyện có thể trông có năng lực hơn thực tế khi đối mặt với một trường hợp hoàn toàn mới.

Nền tảng đánh giá y tế của công ty bổ sung một số cơ chế kiểm soát thiết thực. Nền tảng này mô tả các trường hợp kiểm tra được bảo vệ và giữ kín, các tác vụ cùng cách chấm điểm được quản lý theo phiên bản, cũng như việc phân tích các kiểu thất bại và những nhóm dân số bị ảnh hưởng. Quản lý phiên bản giúp việc so sánh các bản phát hành mô hình có ý nghĩa hơn: điểm số cao hơn sẽ dễ diễn giải hơn khi tác vụ và quy tắc chấm điểm không âm thầm thay đổi.

Nền tảng khai thác thông tin được liên kết, bao gồm hồ sơ sức khỏe điện tử, ghi chú lâm sàng, hình ảnh y khoa, giải phẫu bệnh, hồ sơ yêu cầu thanh toán và kết quả điều trị. Data Lab chuyển các câu hỏi lâm sàng thành tác vụ đánh giá và câu trả lời tham chiếu. Sự kết hợp này nhằm kiểm tra cách các mô hình vận dụng bối cảnh lâm sàng, thay vì chỉ xem chúng có tái tạo được những dữ kiện y khoa riêng lẻ hay không.

Các mô hình chuyên biệt cạnh tranh về hiệu suất và chi phí

Các bài đánh giá đi kèm xem xét những tác vụ khác nhau, vì vậy cần đọc kết quả riêng biệt với Disease Odyssey.

Trong nghiên cứu phối hợp với Standard Model Biomedicine, Protege đánh giá các dự đoán liên quan đến khả năng sống còn của bệnh nhân ung thư vú và ung thư phổi, cũng như khoảng thời gian đến lần điều trị tiếp theo của bệnh nhân. Công ty cho biết mô hình chuyên biệt đạt hiệu suất cạnh tranh với các hệ thống hàng đầu, trong khi chi phí cho mỗi dự đoán thấp hơn 36–170 lần.

Một đánh giá riêng về mô hình HealthSAW của Xlue AI xem xét các nguy cơ trong tương lai liên quan đến ung thư, bệnh tim mạch và các bệnh lý thần kinh. Protege cho biết HealthSAW vượt trội hơn các mô hình hàng đầu trong 14 trên 16 bài kiểm tra, với chi phí trên mỗi bệnh nhân thấp hơn 0,1% so với các mô hình đó.

Đây là những so sánh theo từng tác vụ do Protege báo cáo, chứ không phải bằng chứng cho thấy một mô hình phù hợp nhất với mọi môi trường lâm sàng. Thông báo không nêu rõ toàn bộ phương pháp tính chi phí. Chi phí dự đoán thấp hơn có thể giúp việc sàng lọc lặp lại hoặc phân tích quy mô lớn trở nên thiết thực hơn, nhưng chi phí triển khai còn phụ thuộc vào việc tích hợp, giám sát và khối lượng công việc phát sinh từ những kết quả sai.

Hoạt động đánh giá cần theo kịp các bản cập nhật mô hình

Hoạt động kinh doanh rộng hơn của Protege cung cấp dữ liệu phục vụ phát triển AI, vì vậy việc tách biệt dữ liệu phát triển với dữ liệu đánh giá là một phần quan trọng trong cách tiếp cận của công ty. Tài liệu của Protege nhấn mạnh nguồn gốc dữ liệu, quyền truy cập được kiểm soát và các hồ sơ bệnh nhân được cập nhật như những cách duy trì giá trị của hoạt động kiểm tra theo thời gian.

Công ty dự định mở rộng các bài đánh giá sang những lĩnh vực như giải phẫu bệnh, da liễu, ung thư học và quy trình hành chính. Mục tiêu là xây dựng một quy trình có thể lặp lại và tiến hành lại khi mô hình thay đổi, thay vì gắn vĩnh viễn một điểm số duy nhất với sản phẩm.

Điều đó hữu ích cho cả người mua lẫn nhà phát triển. Bệnh viện cần biết liệu mô hình đã cập nhật có còn hoạt động hiệu quả với nhóm bệnh nhân và quy trình làm việc của mình hay không. Nhà phát triển cần nhiều hơn một điểm số trung bình: họ cần hiểu những ca nào không đạt yêu cầu và liệu việc cải thiện ở lĩnh vực này có gây ra điểm yếu ở lĩnh vực khác hay không.

Việc kiểm thử độc lập có thể giúp những cuộc trao đổi đó trở nên cụ thể hơn, nhưng kết quả trên các bộ tiêu chuẩn hồi cứu không đồng nghĩa với lợi ích đã được chứng minh trong thực hành lâm sàng. Các nghiên cứu tiến cứu, hiệu suất trên các nhóm bệnh nhân khác nhau, tỷ lệ dương tính giả và âm tính giả, cùng tác động đến khối lượng công việc của bác sĩ lâm sàng vẫn là những phần quan trọng của bằng chứng.

Việc ra mắt dịch vụ của Protege đặt ra một câu hỏi rõ ràng hơn cho các công ty AI trong lĩnh vực chăm sóc sức khỏe: hệ thống hoạt động ra sao khi gặp những ca chưa từng thấy và người khác là bên thiết lập bài kiểm tra? Giá trị của dịch vụ mới sẽ phụ thuộc vào mức độ rõ ràng mà các phương pháp và kết quả kiểm thử giúp các tổ chức trả lời câu hỏi đó, cũng như mức độ nhất quán trong việc phát hiện những vấn đề mà các màn trình diễn được trau chuốt thường bỏ sót.