Google công bố khung đánh giá AI y tế bằng nhiều phương pháp

Google công bố một sách trắng vào ngày 4 tháng 11 năm 2026, trình bày cách công ty đánh giá AI tạo sinh đa dụng trong lĩnh vực y tế. Khung này kết hợp các bộ chuẩn câu hỏi đóng, hệ thống chấm điểm tự động bằng AI và đánh giá của chuyên gia để xem xét độ chính xác, tính an toàn và mức độ hữu ích trong các tình huống phổ biến cũng như tình huống rủi ro cao.

Tác giả, Tiến sĩ Sarah Montgomery-Taylor, là trưởng bộ phận đánh giá lâm sàng tại Google for Health; Tiến sĩ Elizabeth McGlynn và Tiến sĩ Dana Gelb Safran đã hợp tác thực hiện công trình này. Google cho biết họ đã xây dựng phương pháp này và tiếp tục sử dụng nó để đánh giá xem các mô hình của mình có đưa ra câu trả lời hữu ích, chính xác, hỗ trợ tương tác y tế an toàn hay không. Việc công bố phương pháp luận nhằm thúc đẩy tính minh bạch và giúp các nhà phát triển, nhà nghiên cứu và bác sĩ xây dựng những công cụ mà mọi người có thể tin cậy.

Đưa việc đánh giá sát với thực tế lâm sàng

Các tác giả cho rằng những phương pháp đánh giá được xây dựng cho các tác vụ riêng lẻ không đủ bao quát các mô hình đa dụng. Họ nêu ví dụ về một mô hình AI có trước thời kỳ AI tạo sinh, có thể phát hiện ung thư phổi trên ảnh chụp CT nhưng không thể phát hiện ung thư vú trên ảnh chụp nhũ ảnh hoặc tóm tắt một cuộc trò chuyện thành ghi chú. Khi một mô hình có thể đảm nhiệm hàng trăm, hàng nghìn tác vụ hoặc nhiều hơn, các nhà phát triển và tổ chức y tế cần có cách ưu tiên các tương tác và rủi ro.

Trước khi chọn các tình huống kiểm thử, người đánh giá lập bản đồ Hành trình Người dùng Trọng yếu: ai đang sử dụng hệ thống, họ muốn đạt được điều gì và cần thực hiện những bước nào. Người dùng có thể là bệnh nhân, thành viên gia đình, bác sĩ hoặc nhân viên hành chính. Bản đồ này định hướng việc xây dựng dữ liệu và chỉ số kiểm thử có tính đại diện. Bản đồ cũng bao quát mục đích sử dụng dự kiến và các hình thức sử dụng sai phổ biến, trong đó có việc dựa vào hệ thống ngoài phạm vi chỉ định và tìm cách vượt qua bộ lọc an toàn.

Sau đó, mỗi ứng dụng được đánh giá trên ba lĩnh vực. Độ chính xác bao gồm sự đồng thuận y khoa, cơ sở bằng chứng, tính xác thực, khả năng suy luận lâm sàng và mức độ phù hợp với bối cảnh; với các tác vụ như tóm tắt thông tin y tế, việc bám sát nguồn cũng được xem xét. Đánh giá an toàn không chỉ xem xét các phát biểu có chính xác hay không mà còn xét đến tác hại có thể xảy ra khi ai đó diễn giải câu trả lời rồi hành động theo đó hoặc không hành động. Các đánh giá cân nhắc cả mức độ nghiêm trọng lẫn khả năng xảy ra của tác hại đó. Đánh giá tính hữu ích xem xét mức độ dễ hiểu đối với người dùng, tính liên quan, tính toàn diện và khả năng giúp người dùng hành động dựa trên câu trả lời. Vì vậy, một câu trả lời có thể chính xác nhưng không an toàn, hoặc chính xác và an toàn nhưng quá phức tạp hay không thể áp dụng để giúp ích cho người dùng.

Các ví dụ trong bài báo cho thấy rủi ro chính thay đổi tùy theo tác vụ. Với người dùng kiểm tra triệu chứng, mối lo ngại an toàn cốt yếu là hệ thống không nêu bật các triệu chứng báo động cần được chăm sóc khẩn cấp; ngược lại, câu trả lời quá đáng báo động có thể gây lo lắng không cần thiết, trong khi hướng dẫn tự đánh giá không rõ ràng có thể cản trở các bước tiếp theo phù hợp. Với bản tóm tắt xuất viện do AI soạn thảo cho bác sĩ, nội dung bịa đặt, thiếu sót và sai sót thực tế đe dọa độ chính xác; bỏ sót dị ứng hoặc thuốc chống chỉ định tạo ra nguy cơ mất an toàn; còn cách trình bày khó hiểu hoặc mốc thời gian không nhất quán có thể làm giảm tính hữu ích.

Kết hợp khả năng mở rộng tự động với phán đoán của con người

Phương pháp đánh giá thứ nhất dựa vào các bài kiểm tra có đáp án xác định, chẳng hạn câu hỏi trắc nghiệm, giúp kiểm tra khối lượng lớn kiến thức nền với chi phí tương đối thấp. Các bài kiểm tra tĩnh không thể tái hiện sự phức tạp và tính đại diện của những tương tác thực tế. Nhiễm bẩn dữ liệu cũng là một hạn chế: khi câu hỏi kiểm tra xuất hiện trong dữ liệu huấn luyện, kết quả có thể phản ánh việc chuẩn bị cho bài kiểm tra thay vì khả năng suy luận y khoa tổng quát. Vì vậy, khung này sử dụng các bộ chuẩn đó để thiết lập mức cơ sở và định hướng các bước đánh giá tiếp theo; cần thêm các phương pháp khác để xác thực hiệu quả trong thực tế.

Phương pháp thứ hai giao việc chấm điểm cho một hệ thống AI khác. Các hệ thống chấm điểm tự động này áp dụng những tiêu chí được viết sẵn cho câu trả lời mở, nhờ đó có thể đánh giá nhiều tình huống hơn đáng kể so với số lượng mà các chuyên gia có thể chấm một cách hợp lý. Chúng có thể đánh giá các cuộc hội thoại nhiều lượt được mô phỏng, trong đó ban đầu người dùng không cung cấp thông tin lâm sàng, qua đó kiểm tra xem mô hình có đặt câu hỏi làm rõ trước khi đưa ra hướng dẫn hay không. Tuy nhiên, các hệ thống đánh giá tự động vẫn cần được xác thực bằng dữ liệu tham chiếu do chuyên gia tạo ra, vì chúng có thể ưu ái câu trả lời dài dòng, thiên vị câu trả lời từ cùng họ mô hình với mình và lan truyền các chú giải của con người có nhiều nhiễu.

Sau đó, bác sĩ và các chuyên gia khác trong lĩnh vực xem xét những trường hợp mà các tiêu chí tự động hoạt động kém nhất, bao gồm biểu hiện phức tạp, tình huống ngoại lệ và chủ đề chưa có nhiều đồng thuận lâm sàng. Họ cũng đánh giá xem đầu ra có phù hợp với chuẩn mực lâm sàng tại địa phương và các nhóm bệnh nhân khác nhau hay không. Hoạt động kiểm thử đối kháng riêng biệt đánh giá các giới hạn an toàn bằng những thủ thuật như van nài đầy cảm xúc, dựng bối cảnh hư cấu hoặc giả danh nhân viên y tế để khiến hệ thống tạo ra nội dung vượt quá phạm vi dự kiến của sản phẩm. Việc đánh giá của con người cũng có thể sai lệch: các tác giả lưu ý rằng hai bác sĩ có thể chấm khác nhau 30–40% hoặc hơn trong một nhiệm vụ đánh giá, vì vậy cần có biện pháp kiểm soát mức độ khác biệt giữa người chấm và phân tích phù hợp.

Việc giám sát tiếp tục sau khi triển khai

Đánh giá bắt đầu trước khi sản phẩm ra đời, bằng việc kiểm tra năng lực tổng quát và độ an toàn của mô hình nền. Khi mô hình được tích hợp vào một ứng dụng, hoạt động đánh giá sẽ tập trung vào người dùng và quy trình làm việc của chính sản phẩm đó. Gần đến thời điểm phát hành, quá trình triển khai có kiểm soát có thể bao gồm các thử nghiệm chạy ngầm, thí điểm lâm sàng hoặc triển khai theo từng giai đoạn, đồng thời tiến hành kiểm thử yếu tố con người và tính dễ sử dụng trước khi cung cấp rộng rãi hơn.

Các nhóm lâm sàng và phát triển phải cùng nhau xác định ngưỡng đạt yêu cầu và trọng số của bộ tiêu chí tại từng cổng đánh giá sản phẩm, dựa trên hồ sơ rủi ro lâm sàng của ứng dụng thay vì áp dụng các ngưỡng số chung cho mọi trường hợp hoặc tùy tiện. Sau khi triển khai, các nhà phát triển theo dõi tình trạng sai lệch của thuật toán và độ ổn định của hệ thống. Các tổ chức áp dụng công nghệ này giám sát mức độ an toàn của quy trình lâm sàng đối với công cụ dành cho chuyên gia, hoặc mức độ an toàn của người dùng và mô hình sử dụng đối với sản phẩm dành cho người tiêu dùng.

Các tác giả cho rằng những tín hiệu mang tính phản ứng, chẳng hạn như khiếu nại của người dùng và các sự cố nghiêm trọng, không thể tự mình đảm đương việc giám sát sau triển khai. Bộ dữ liệu kiểm thử khác với các tương tác thực tế, còn người dùng thì điều chỉnh câu lệnh và kỳ vọng khi tích lũy thêm kinh nghiệm. Kết quả giám sát phải được phản hồi vào các yêu cầu, hoạt động huấn luyện và thứ tự ưu tiên cho những lần đánh giá tiếp theo. Việc giám sát tương tác và kết quả sức khỏe trong thời gian dài hơn gặp trở ngại do dữ liệu bị chia cắt, cùng các rào cản về quyền riêng tư, kỹ thuật và tổ chức. Bài báo cũng xác định trách nhiệm chung của nhà phát triển và hệ thống y tế, chi phí triển khai, việc thẩm định độc lập và sự đồng thuận khoa học là những vấn đề quản trị vẫn cần được giải quyết.

Đối với các nhà phát triển và hệ thống y tế, khuôn khổ này chuyển trọng tâm từ câu hỏi liệu một mô hình có vượt qua một bài kiểm chuẩn tĩnh hay không sang việc liệu có thể chứng minh độ chính xác, tính an toàn và tính hữu ích trong suốt quá trình phát triển và triển khai hay không. Thách thức cốt lõi mang tính thực tiễn: gắn hoạt động giám sát với trách nhiệm giải trình, đồng thời phân định trách nhiệm, cấp kinh phí cho công việc và thẩm định độc lập kết quả giữa các tổ chức cũng như qua các ranh giới dữ liệu.