Mô hình ngôn ngữ nên dừng ở đâu: Thiết kế AI cho lĩnh vực tính lương, tuyển sinh và những lĩnh vực khác mà sai sót phải trả giá

Trong vài năm qua, tôi đã tích hợp AI vào các sản phẩm mà một câu trả lời sai đều phải trả giá: một nền tảng tuân thủ quy định về tính lương ứng dụng AI dành cho thị trường Úc, nơi sai sót có thể ảnh hưởng đến tài khoản ngân hàng của ai đó; và một sản phẩm hỗ trợ tuyển sinh đại học, nơi việc chọn trường không phù hợp có thể định hình bốn năm tiếp theo của sinh viên. Câu hỏi quyết định cách thiết kế kiến trúc hệ thống trong cả hai trường hợp đều giống nhau: nên cho phép mô hình ngôn ngữ đi xa đến đâu trước khi một cơ chế có kết quả xác định tiếp quản?

Cứ năm bảng lương ở Mỹ thì có một bảng có sai sót, với chi phí trung bình là 291 USD cho mỗi trường hợp, chưa tính đến kiện tụng. Đạo luật AI của EU xếp AI được sử dụng trong các quyết định tuyển sinh và quản lý việc làm vào nhóm rủi ro cao.

Để các con số do quy tắc kiểm soát

Các quy tắc xác định phải kiểm soát mọi thứ gắn với một khoản tiền cụ thể hoặc hệ quả pháp lý; mô hình chỉ diễn giải và giải thích dựa trên các quy tắc đó, không làm gì hơn.

Trên nền tảng tính lương, mục tiêu của chúng tôi là phân định rõ ràng giữa các quy tắc tính lương và AI. Trước tiên, các chuyên gia tính lương xác định quy tắc trả lương theo một định dạng có cấu trúc. Sau đó, hệ thống xử lý các quy tắc này và tạo ra mọi tình huống có thể phát sinh từ chúng. Toàn bộ tập hợp tình huống đó trở thành nguồn thông tin chuẩn để mô hình dựa vào. Mô hình không thể tạo quy tắc mới, thay đổi quy tắc hiện có hoặc quyết định sẽ sử dụng nguồn nào. Mô hình chỉ có thể truy xuất bộ quy tắc liên quan, tra cứu bảng mức lương và dẫn chiếu tình huống mà nó đã sử dụng. Việc tạo quy tắc, xây dựng tình huống và lựa chọn nguồn hoàn toàn nằm ngoài lớp AI.

Sản phẩm tuyển sinh áp dụng cùng nguyên tắc: các yêu cầu về địa điểm, giới hạn ngân sách, tình trạng của cơ sở giáo dục và ngưỡng điều kiện được áp dụng dưới dạng quy tắc trước khi mô hình có thể tác động đến thứ hạng. Nếu sinh viên nói rằng mình phải học đại học ở California, mô hình không thể gạt yêu cầu đó sang một bên để chọn trường ngoài tiểu bang chỉ vì cho rằng trường ấy phù hợp hơn ở những khía cạnh khác. Mô hình xử lý các sở thích linh hoạt hơn và phần giải thích; còn logic xác định là hàng rào bảo vệ trong mọi trường hợp mà câu trả lời chỉ gần đúng thôi là không thể chấp nhận.

Truy xuất giúp mô hình bám sát thực tế, nhưng chỉ đến một mức độ nhất định

Sinh tăng cường truy xuất giúp câu trả lời bám vào chính sách của tổ chức, thay vì những gì mô hình đã tiếp thu trong quá trình huấn luyện. Tuy nhiên, phương pháp này cũng thường được đề cao quá mức. Khi RegLab của Stanford thử nghiệm các công cụ nghiên cứu pháp lý thương mại xây dựng trên RAG, các công cụ này vẫn tạo thông tin bịa đặt trong 17% đến 33% số lần. Truy xuất giới hạn những gì mô hình có thể nói, nhưng mô hình vẫn có thể trả lời sai.

Tôi đã trực tiếp nhận ra điều đó. Có lần, trên nền tảng tính lương, hệ thống tìm được văn bản quy định điều kiện và mức lương lao động áp dụng chính xác cho một trường hợp, nhưng mô hình vẫn diễn giải sai quy tắc làm thêm giờ. Hệ thống đã truy xuất đúng nguồn mà câu trả lời vẫn sai, vì vậy sau đó chúng tôi siết chặt hơn nhiều những gì mô hình được phép tự quyết định. Các quy tắc tính lương quan trọng được chuyển thành logic nghiệp vụ tường minh, mọi câu trả lời đều phải có tài liệu nguồn làm căn cứ, và chúng tôi bổ sung các bài kiểm thử dựa trên chính trường hợp đã thất bại. Việc tiếp cận được thông tin phù hợp chỉ hữu ích khi bạn đồng thời kiểm soát cách mô hình sử dụng thông tin đó.

Đảm bảo mọi câu trả lời đều có thể truy nguyên

Trước khi tạo câu trả lời, hệ thống ghi lại chính xác bộ quy tắc và phiên bản đã sử dụng, cùng với mô hình và các chi tiết khác của yêu cầu. Rất khó xác minh một câu trả lời của AI chỉ bằng lời khẳng định rằng câu trả lời đó dựa trên chính sách của công ty. Bằng chứng sẽ thuyết phục hơn nhiều nếu có thể chỉ rõ câu trả lời được tạo ra dựa trên phiên bản 7 của một thỏa thuận cụ thể, bản thỏa thuận đã được lưu giữ và có thể đối chiếu với các phiên bản khác. Chúng tôi cũng truy vết mọi lần gọi mô hình và công cụ: người dùng đã hỏi gì, hệ thống đã truy xuất nội dung nào, công cụ nào được chạy, mô hình trả về kết quả gì và có lỗi nào xảy ra trong quá trình đó. Khi nhận được yêu cầu hỗ trợ, chúng tôi có thể xác định chính xác câu trả lời sai bắt nguồn từ đâu. Phán quyết năm 2024 liên quan đến Air Canada, trong đó một hội đồng tài phán buộc hãng hàng không phải áp dụng mức giảm giá mà chatbot của hãng tự đưa ra, cho thấy cái giá phải trả nếu không làm như vậy.

Đưa con người vào những khâu có hệ quả

Hồ sơ về AI tạo sinh của NIST xem ranh giới giữa những việc hệ thống tự thực hiện và những việc cần có con người tham gia là một quyết định về quản trị. Chúng tôi chuyển một trường hợp cho người xử lý khi hệ thống không chắc chắn, khi thông tin mâu thuẫn hoặc khi quyết định có thể ảnh hưởng đáng kể đến người dùng. Trong quy trình tuyển sinh, hồ sơ sinh viên khác thường hoặc đề xuất không đáp ứng rõ ràng các yêu cầu bắt buộc của sinh viên sẽ được chuyển cho cố vấn xem xét. Bước này đã giúp phát hiện những đề xuất thoạt nhìn có vẻ hợp lý nhưng bỏ sót một ràng buộc trong hồ sơ sinh viên; mỗi trường hợp như vậy đều được dùng để cải thiện hệ thống. Cả hai sản phẩm đều không tự đưa ra quyết định cuối cùng. Cần có ý kiến của cố vấn trước khi dựa vào một đề xuất, và mọi phiếu lương do hệ thống tính lương tạo ra đều được đánh dấu để chờ phê duyệt trước khi gửi đi. Không phải mọi yêu cầu đều cần con người xem xét. Mục tiêu là tự tin tự động hóa các trường hợp thường lệ và đưa con người vào xử lý khi hệ thống có lý do chính đáng để không chắc chắn.

Xác định những việc mô hình có thể tự đảm nhiệm hiện nay

Tôi áp dụng một phép thử thực tế cho mọi quy trình công việc. Nếu có thể phát hiện và khắc phục đầu ra sai trước khi nó đến tay một người, mô hình có thể tự đảm nhiệm bước đó. Nếu có thể đối chiếu câu trả lời với một quy tắc, quy tắc sẽ quyết định còn mô hình sẽ giải thích. Nếu đầu ra sai có thể đến tay người nhận lương hoặc ảnh hưởng đến quyết định xét hồ sơ trước khi có ai phát hiện, thì quy trình đó chưa sẵn sàng.

Mô hình ngôn ngữ là những công cụ diễn giải tốt nhất mà chúng ta từng đặt trước một bộ quy tắc. Ở những lĩnh vực mà sai sót phải trả giá đắt, việc diễn giải là nơi chúng nên dừng lại.