Bất kỳ tác nhân AI nào cũng có thể nói. Ít người có thể tin cậy

Nhu cầu về các tác nhân AI trong chăm sóc sức khỏe là cấp thiết. Trong toàn ngành, các nhóm làm việc quá sức đang bị ngập trong các nhiệm vụ tốn thời gian làm chậm trễ việc chăm sóc bệnh nhân. Các bác sĩ lâm sàng bị căng thẳng, các trung tâm cuộc gọi thanh toán bị quá tải và bệnh nhân phải chờ đợi câu trả lời cho các mối quan tâm cấp bách.

Đại lý AI có thể giúp lấp đầy những khoảng trống sâu sắc, mở rộng phạm vi và khả năng tiếp cận của nhân viên lâm sàng và hành chính, đồng thời giảm tình trạng kiệt sức của cả nhân viên y tế và bệnh nhân. Nhưng trước khi có thể làm được điều đó, chúng ta cần có cơ sở vững chắc để xây dựng lòng tin vào các tác nhân AI. Lòng tin đó sẽ không đến từ giọng nói ấm áp hay khả năng giao tiếp trôi chảy. Nó đến từ kỹ thuật.

Ngay cả khi sự quan tâm đến các tác nhân AI tăng vọt và các tiêu đề rầm rộ về lời hứa hẹn của AI tác nhân, các nhà lãnh đạo chăm sóc sức khỏe - chịu trách nhiệm với bệnh nhân và cộng đồng của họ - vẫn còn do dự trong việc triển khai công nghệ này ở quy mô lớn. Các công ty khởi nghiệp đang rao bán các khả năng tác nhân, từ tự động hóa các nhiệm vụ tầm thường như lên lịch hẹn đến giao tiếp và chăm sóc bệnh nhân có sự tiếp xúc cao. Tuy nhiên, hầu hết vẫn chưa chứng minh được những cam kết này là an toàn.

Nhiều người trong số họ sẽ không bao giờ làm được điều đó.

Thực tế là bất cứ ai cũng có thể quay một đại lý giọng nói được hỗ trợ bởi một mô hình ngôn ngữ lớn (LLM), cung cấp cho nó một giọng điệu từ bi và viết một cuộc trò chuyện nghe có vẻ thuyết phục. Có rất nhiều nền tảng như thế này đang chào hàng các tác nhân của họ trong mọi ngành. Các tác nhân của họ có thể trông và nghe khác nhau, nhưng tất cả đều hành xử giống nhau – dễ bị ảo giác, không thể xác minh các sự kiện quan trọng và thiếu các cơ chế đảm bảo trách nhiệm giải trình.

Cách tiếp cận này – xây dựng một lớp vỏ bọc thường quá mỏng xung quanh một LLM cơ bản – có thể hiệu quả trong các ngành như bán lẻ hoặc khách sạn, nhưng sẽ thất bại trong chăm sóc sức khỏe. Các mô hình cơ bản là những công cụ phi thường, nhưng chúng chủ yếu là mục đích chung; chúng không được đào tạo cụ thể về các giao thức lâm sàng, chính sách của bên thanh toán hoặc các tiêu chuẩn quản lý. Ngay cả những tác nhân hùng biện nhất được xây dựng trên các mô hình này cũng có thể trôi dạt vào lãnh địa ảo giác, trả lời những câu hỏi mà họ không nên trả lời, bịa ra sự thật hoặc không nhận ra khi nào cần đưa con người vào vòng lặp.

Hậu quả của những hành vi này không phải là lý thuyết. Chúng có thể gây nhầm lẫn cho bệnh nhân, cản trở việc chăm sóc và dẫn đến việc phải làm lại tốn kém. Đây không phải là vấn đề về trí thông minh. Đây là vấn đề về cơ sở hạ tầng.

Để hoạt động an toàn, hiệu quả và đáng tin cậy trong chăm sóc sức khỏe, các tác nhân AI cần phải là nhiều hơn là chỉ là những giọng nói tự chủ ở đầu dây bên kia. Chúng phải được vận hành bởi các hệ thống được thiết kế riêng để kiểm soát, bối cảnh và trách nhiệm giải trình. Theo kinh nghiệm của tôi khi xây dựng các hệ thống này, đây là những gì trông giống như trong thực tế.

Kiểm soát phản ứng có thể làm cho ảo giác không tồn tại

Các tác nhân AI trong chăm sóc sức khỏe không chỉ có thể tạo ra các câu trả lời hợp lý. Họ cần phải đưa ra các câu trả lời đúng, mọi lúc. Điều này đòi hỏi một "không gian hành động" có thể kiểm soát được – một cơ chế cho phép AI hiểu và tạo điều kiện cho cuộc trò chuyện tự nhiên, nhưng đảm bảo mọi phản hồi có thể đều bị giới hạn bởi logic được xác định trước và đã được phê duyệt.

Với các tham số kiểm soát phản hồi được tích hợp sẵn, các tác nhân chỉ có thể tham chiếu các giao thức đã được xác minh, các quy trình vận hành được xác định trước và các tiêu chuẩn quy định. Sự sáng tạo của mô hình được khai thác để hướng dẫn các tương tác thay vì ứng biến các sự kiện. Đây là cách các nhà lãnh đạo chăm sóc sức khỏe có thể đảm bảo rủi ro ảo giác được loại bỏ hoàn toàn – không phải bằng cách thử nghiệm trong một dự án thí điểm hay một nhóm tập trung duy nhất, mà bằng cách thiết kế rủi ro ngay từ đầu.

Biểu đồ kiến ​​thức chuyên biệt có thể đảm bảo trao đổi đáng tin cậy

Bối cảnh của mọi cuộc trò chuyện về chăm sóc sức khỏe đều mang tính cá nhân sâu sắc. Hai người mắc bệnh tiểu đường loại 2 có thể sống trong cùng một khu phố và có cùng hồ sơ rủi ro. Việc họ có đủ điều kiện để được dùng một loại thuốc cụ thể hay không sẽ khác nhau tùy thuộc vào tiền sử bệnh án, hướng dẫn điều trị của bác sĩ, chương trình bảo hiểm và các quy tắc về công thức thuốc.

Các tác nhân AI không chỉ cần truy cập vào bối cảnh này mà còn cần có khả năng lý luận với nó theo thời gian thực. Một chuyên gia đồ thị kiến ​​thức cung cấp khả năng đó. Đây là cách có cấu trúc để biểu diễn thông tin từ nhiều nguồn đáng tin cậy, cho phép các tác nhân xác thực những gì họ nghe được và đảm bảo thông tin họ cung cấp vừa chính xác vừa được cá nhân hóa. Các tác nhân không có lớp này có vẻ như được thông báo, nhưng thực ra họ chỉ đang tuân theo các quy trình làm việc cứng nhắc và điền vào chỗ trống.

Hệ thống đánh giá mạnh mẽ có thể đánh giá độ chính xác

Một bệnh nhân có thể cúp máy với một tác nhân AI và cảm thấy hài lòng, nhưng công việc của tác nhân vẫn chưa kết thúc. Các tổ chức chăm sóc sức khỏe cần đảm bảo rằng tác nhân không chỉ đưa ra thông tin chính xác mà còn hiểu và ghi lại tương tác. Đó là lúc các hệ thống xử lý hậu kỳ tự động phát huy tác dụng.

Một hệ thống đánh giá mạnh mẽ phải đánh giá từng cuộc trò chuyện với cùng mức độ kiểm tra kỹ lưỡng như một giám sát viên con người với tất cả thời gian trên thế giới sẽ mang lại. Nó phải có khả năng xác định xem phản hồi có chính xác không, đảm bảo thông tin đúng đã được ghi lại và xác định xem có cần theo dõi hay không. Nếu có điều gì đó không đúng, tác nhân phải có thể chuyển lên một con người, nhưng nếu mọi thứ đều ổn, nhiệm vụ có thể được kiểm tra khỏi danh sách việc cần làm một cách tự tin.

Ngoài ba yếu tố nền tảng này cần thiết để xây dựng lòng tin, mọi cơ sở hạ tầng AI của agentic đều cần một khuôn khổ bảo mật và tuân thủ mạnh mẽ để bảo vệ dữ liệu bệnh nhân và đảm bảo các agent hoạt động trong phạm vi được quy định. Khuôn khổ đó phải bao gồm việc tuân thủ nghiêm ngặt các tiêu chuẩn chung của ngành như SOC 2 và HIPAA, nhưng cũng phải có các quy trình được xây dựng sẵn để kiểm tra thiên vị, biên tập thông tin y tế được bảo vệ và lưu giữ dữ liệu.

Các biện pháp bảo vệ an ninh này không chỉ kiểm tra các ô tuân thủ. Chúng tạo thành xương sống của một hệ thống đáng tin cậy có thể đảm bảo mọi tương tác được quản lý ở mức mà bệnh nhân và nhà cung cấp mong đợi.

Ngành chăm sóc sức khỏe không cần thêm sự cường điệu về AI. Nó cần cơ sở hạ tầng AI đáng tin cậy. Trong trường hợp AI đại lý, lòng tin sẽ không được tạo ra nhiều như nó sẽ được thiết kế.