Xử lý ảo giác trong các mô hình ngôn ngữ lớn: Một cuộc khảo sát về các kỹ thuật tiên tiến

Các mô hình ngôn ngữ lớn (LLM) như GPT-4, PaLM và Llama đã mở ra những tiến bộ đáng kể trong khả năng tạo ngôn ngữ tự nhiên. Tuy nhiên, một thách thức dai dẳng hạn chế sự tin cậy và triển khai an toàn của chúng là xu hướng tạo ra nội dung ảo giác – tạo ra nội dung có vẻ hợp lý nhưng không chính xác về mặt事 thực hoặc không dựa trên ngữ cảnh đầu vào.

Khi các LLM tiếp tục phát triển mạnh và được sử dụng rộng rãi trong các ứng dụng thực tế, việc giải quyết vấn đề ảo giác trở nên quan trọng. Bài viết này cung cấp một cái nhìn tổng quan toàn diện về các kỹ thuật mới nhất mà các nhà nghiên cứu đã giới thiệu để phát hiện, định lượng và giảm thiểu ảo giác trong các LLM.

Hiểu về ảo giác trong LLM

Ảo giác đề cập đến sự không chính xác về mặt事 thực hoặc tạo ra nội dung không dựa trên thực tế hoặc ngữ cảnh đầu vào được tạo ra bởi các LLM. Một số ví dụ bao gồm:

• Tạo ra chi tiết tiểu sử hoặc sự kiện không có bằng chứng trong tài liệu nguồn khi tạo văn bản về một người.
• Cung cấp lời khuyên y tế sai lầm bằng cách tạo ra tác dụng phụ của thuốc hoặc thủ tục điều trị.
• Tạo ra dữ liệu, nghiên cứu hoặc nguồn không tồn tại để hỗ trợ một tuyên bố.

Hiện tượng này xuất hiện vì các LLM được đào tạo trên một lượng lớn dữ liệu văn bản trực tuyến. Mặc dù điều này cho phép chúng đạt được khả năng tạo ngôn ngữ mạnh, nhưng cũng có nghĩa là chúng học cách suy diễn thông tin, tạo ra các bước logic và lấp đầy khoảng trống một cách thuyết phục nhưng có thể gây hiểu lầm hoặc sai lầm.

Một số yếu tố chính gây ra ảo giác bao gồm:

• Tổng quát hóa mẫu – Các LLM xác định và mở rộng mẫu trong dữ liệu đào tạo mà có thể không tổng quát hóa tốt.
• Kiến thức lỗi thời – Đào tạo trước không cho phép tích hợp thông tin mới.
• Độ không rõ ràng – Các lời nhắc không rõ ràng cho phép có nhiều giả định sai.
• Th偏见 – Các mô hình duy trì và khuếch đại quan điểm thiên vị.
• Thiếu nền tảng – Thiếu hiểu biết và lý luận có nghĩa là các mô hình tạo ra nội dung mà chúng không hiểu rõ.

Giải quyết ảo giác là quan trọng để triển khai đáng tin cậy trong các lĩnh vực nhạy cảm như y tế, luật, tài chính và giáo dục, nơi tạo ra thông tin sai lệch có thể gây hại.

Phân loại các kỹ thuật giảm thiểu ảo giác

Các nhà nghiên cứu đã giới thiệu nhiều kỹ thuật để chống lại ảo giác trong các LLM, có thể được phân loại thành:

1. Kỹ thuật lời nhắc

Điều này liên quan đến việc tạo ra các lời nhắc cẩn thận để cung cấp ngữ cảnh và hướng dẫn các LLM đến các phản hồi có căn cứ.

• Tìm kiếm tăng cường – Tìm kiếm bằng chứng bên ngoài để nền tảng nội dung.
• Vòng phản hồi – Cung cấp phản hồi lặp lại để tinh chỉnh phản hồi.
• Tuning lời nhắc – Điều chỉnh lời nhắc trong quá trình tinh chỉnh để đạt được hành vi mong muốn.

2. Phát triển mô hình

Tạo ra các mô hình vốn ít có khả năng tạo ra ảo giác thông qua các thay đổi về kiến trúc.

• Chiến lược giải mã – Tạo văn bản theo cách tăng cường sự trung thực.
• Nền tảng kiến thức – Tích hợp các cơ sở kiến thức bên ngoài.
• Hàm mất mát mới – Tối ưu hóa cho sự trung thực trong quá trình đào tạo.
• Tinh chỉnh có giám sát – Sử dụng dữ liệu được gắn nhãn bởi con người để tăng cường tính xác thực.

Tiếp theo, chúng tôi khảo sát các kỹ thuật nổi bật dưới mỗi phương pháp.

Các kỹ thuật giảm thiểu ảo giác đáng chú ý

Tìm kiếm tăng cường

Tìm kiếm tăng cường cải thiện các LLM bằng cách tìm kiếm và điều kiện tạo văn bản trên các tài liệu bằng chứng bên ngoài, thay vì chỉ dựa vào kiến thức ngầm của mô hình. Điều này nền tảng nội dung trong thông tin có thể xác minh và cập nhật, giảm ảo giác.

Các kỹ thuật nổi bật bao gồm:

• RAG – Sử dụng một mô-đun tìm kiếm cung cấp đoạn văn liên quan cho một mô hình seq2seq để tạo từ. Cả hai thành phần được đào tạo cùng nhau.
• RARR – Sử dụng các LLM để nghiên cứu các tuyên bố không được chỉ định trong văn bản tạo và sửa đổi chúng để phù hợp với bằng chứng tìm kiếm.
• Tìm kiếm kiến thức – Xác thực các tạo ra không chắc chắn bằng cách tìm kiếm kiến thức trước khi tạo văn bản.
• LLM-Augmenter – Tìm kiếm lặp lại kiến thức để xây dựng chuỗi bằng chứng cho các lời nhắc LLM.

Phản hồi và lý luận

Sử dụng phản hồi ngôn ngữ tự nhiên lặp lại hoặc tự lý luận cho phép các LLM tinh chỉnh và cải thiện các phản hồi ban đầu, giảm ảo giác.

CoVe sử dụng một kỹ thuật chuỗi xác thực. LLM đầu tiên tạo một phản hồi cho truy vấn của người dùng. Sau đó, nó tạo ra các câu hỏi xác thực tiềm năng để kiểm tra lại phản hồi của chính nó, dựa trên sự tự tin vào các tuyên bố được thực hiện. Ví dụ, đối với một phản hồi mô tả một phương pháp điều trị y tế mới, CoVe có thể tạo ra các câu hỏi như “Tỷ lệ hiệu quả của phương pháp điều trị là gì?”, “Liệu nó đã nhận được sự chấp thuận của cơ quan quản lý?”, “Những tác dụng phụ tiềm ẩn là gì?”. Điều quan trọng là LLM sau đó cố gắng trả lời độc lập các câu hỏi xác thực này mà không bị ảnh hưởng bởi phản hồi ban đầu. Nếu các câu trả lời cho các câu hỏi xác thực mâu thuẫn hoặc không thể hỗ trợ các tuyên bố được thực hiện trong phản hồi ban đầu, hệ thống xác định những tuyên bố đó là ảo giác có khả năng và tinh chỉnh phản hồi trước khi trình bày nó cho người dùng.

DRESS tập trung vào việc điều chỉnh các LLM để phù hợp tốt hơn với sở thích của con người thông qua phản hồi ngôn ngữ tự nhiên. Phương pháp này cho phép người dùng không chuyên cung cấp các phê bình miễn phí về các tạo ra của mô hình, chẳng hạn như “Các tác dụng phụ được đề cập có vẻ phóng đại” hoặc các hướng dẫn tinh chỉnh như “Vui lòng thảo luận về hiệu quả chi phí”. DRESS sử dụng học tăng cường để đào tạo các mô hình tạo ra phản hồi có điều kiện dựa trên phản hồi đó tốt hơn phù hợp với sở thích của con người. Điều này tăng cường khả năng tương tác trong khi giảm các tuyên bố không thực tế hoặc không được hỗ trợ.

MixAlign giải quyết các tình huống mà người dùng đặt câu hỏi không tương ứng trực tiếp với đoạn văn bằng chứng được hệ thống thu thập. Ví dụ, người dùng có thể hỏi “Liệu ô nhiễm sẽ trở nên tồi tệ hơn ở Trung Quốc?” trong khi các đoạn văn thu thập thảo luận về xu hướng ô nhiễm toàn cầu. Để tránh tạo ra ảo giác với ngữ cảnh không đủ, MixAlign yêu cầu người dùng làm rõ khi không chắc chắn làm thế nào để liên quan câu hỏi của họ với thông tin thu thập được. Cơ chế này cho phép người dùng đưa ra phản hồi để có được bằng chứng nền tảng và ngữ cảnh chính xác, ngăn chặn các phản hồi không có căn cứ.

Kỹ thuật Tự phản ánh đào tạo các LLM để đánh giá, đưa ra phản hồi về và tinh chỉnh lặp lại các phản hồi của chính chúng bằng cách sử dụng một phương pháp đa nhiệm. Ví dụ, đối với một phản hồi được tạo ra cho một truy vấn y tế, mô hình học cách đánh giá độ chính xác của sự kiện, xác định bất kỳ tuyên bố mâu thuẫn hoặc không được hỗ trợ và chỉnh sửa chúng bằng cách thu thập kiến thức liên quan. Bằng cách dạy các LLM kỹ thuật phản hồi này, phương pháp giảm thiểu ảo giác bằng cách giúp mô hình kiểm tra, phê bình và cải thiện liên tục các phản hồi của chính chúng.

Điều chỉnh lời nhắc

Điều chỉnh lời nhắc cho phép điều chỉnh các lời nhắc hướng dẫn được cung cấp cho các LLM trong quá trình tinh chỉnh để đạt được các hành vi mong muốn.

Phương pháp SynTra sử dụng một nhiệm vụ tóm tắt tổng hợp để giảm thiểu ảo giác trước khi chuyển mô hình sang các tập dữ liệu tóm tắt thực. Nhiệm vụ tổng hợp này cung cấp các đoạn văn đầu vào và yêu cầu mô hình tóm tắt chúng thông qua tìm kiếm chỉ. Điều này đào tạo mô hình để dựa hoàn toàn vào nội dung có nguồn gốc thay vì tạo ra thông tin mới trong quá trình tóm tắt. SynTra đã được chứng minh là giảm thiểu vấn đề ảo giác khi mô hình được tinh chỉnh và triển khai trên các nhiệm vụ mục tiêu.

UPRISE đào tạo một trình thu thập lời nhắc phổ quát cung cấp lời nhắc mềm tối ưu cho việc học vài lần trên các nhiệm vụ hạ nguồn chưa từng thấy. Bằng cách thu thập các lời nhắc hiệu quả được tinh chỉnh trên một tập hợp đa dạng các nhiệm vụ, mô hình học cách tổng quát hóa và thích nghi với các nhiệm vụ mới mà nó thiếu các ví dụ đào tạo. Điều này tăng cường hiệu suất mà không yêu cầu tinh chỉnh cụ thể cho từng nhiệm vụ.

Các kiến trúc mô hình mới

FLEEK là một hệ thống tập trung vào hỗ trợ các kiểm tra viên và xác thực viên của con người. Nó tự động xác định các tuyên bố事 thực có thể xác minh được tạo ra trong một văn bản nhất định. FLEEK chuyển đổi các tuyên bố này thành các truy vấn, thu thập bằng chứng liên quan từ các cơ sở kiến thức và cung cấp thông tin ngữ cảnh này cho các xác thực viên của con người để hiệu quả xác thực độ chính xác của tài liệu và nhu cầu sửa đổi.

Phương pháp CAD giảm thiểu ảo giác trong tạo ngôn ngữ thông qua giải mã nhận thức ngữ cảnh. Cụ thể, CAD khuếch đại sự khác biệt giữa phân phối đầu ra của LLM khi được điều kiện dựa trên ngữ cảnh so với tạo ra không điều kiện. Điều này ngăn chặn việc mâu thuẫn với bằng chứng ngữ cảnh, hướng mô hình đến các tạo ra có căn cứ.

DoLA giảm thiểu ảo giác事 thực bằng cách đối lập các logit từ các lớp khác nhau của mạng nơ-ron chuyển đổi. Vì kiến thức事 thực có xu hướng được định vị ở các lớp trung gian nhất định, việc khuếch đại tín hiệu từ các lớp事 thực này thông qua việc đối lập logit của DoLA giảm các tạo ra事 thực không chính xác.

Khung khổ THAM giới thiệu một thuật ngữ điều chỉnh trong quá trình đào tạo để giảm thiểu thông tin tương hỗ giữa đầu vào và đầu ra ảo giác. Điều này giúp tăng sự phụ thuộc của mô hình vào ngữ cảnh đầu vào được cung cấp thay vì tưởng tượng không gắn kết, giảm ảo giác mù quáng.

Nền tảng kiến thức

Nền tảng các tạo ra của LLM trong kiến thức cấu trúc ngăn chặn sự suy đoán không kiểm soát và tạo ra nội dung.

Mô hình RHO xác định các thực thể trong một ngữ cảnh hội thoại và liên kết chúng với một đồ thị kiến thức (KG). Các事 thực và quan hệ liên quan đến các thực thể này được thu thập từ KG và hợp nhất vào biểu diễn ngữ cảnh được cung cấp cho LLM. Điều này giúp giảm ảo giác trong hội thoại bằng cách giữ cho các phản hồi gắn với事 thực có căn cứ về các thực thể/sự kiện được đề cập.

HAR tạo ra các tập dữ liệu đào tạo đối lập chứa ảo giác được tạo ra bởi mô hình để dạy nền tảng tốt hơn. Đối với một đoạn văn事 thực, mô hình được yêu cầu giới thiệu ảo giác hoặc biến dạng tạo ra một phiên bản đối lập. Việc tinh chỉnh trên dữ liệu này buộc mô hình phải nền tảng nội dung tốt hơn trong các nguồn事 thực ban đầu, giảm việc tạo ra nội dung không có căn cứ.

Tinh chỉnh có giám sát

• Coach – Một khuôn khổ tương tác trả lời các truy vấn của người dùng nhưng cũng yêu cầu sửa đổi để cải thiện.
• R-Tuning – Tinh chỉnh từ chối nhận thức nhận biết các câu hỏi không được hỗ trợ được xác định thông qua khoảng trống kiến thức trong dữ liệu đào tạo.
• TWEAK – Một phương pháp giải mã xếp hạng các tạo ra dựa trên mức độ hỗ trợ các giả thuyết cho các事 thực đầu vào.

Thử thách và hạn chế

Mặc dù có những tiến bộ đầy hứa hẹn, một số thách thức chính vẫn còn trong việc giảm thiểu ảo giác:

• Các kỹ thuật thường phải đánh đổi giữa chất lượng, tính hợp lý và sáng tạo cho tính xác thực.
• Khó khăn trong việc đánh giá nghiêm ngặt ngoài các lĩnh vực hạn chế. Các chỉ số không nắm bắt được tất cả các sắc thái.
• Nhiều phương pháp đòi hỏi tính toán tốn kém, yêu cầu thu thập hoặc tự lý luận rộng rãi.
• Phụ thuộc nặng vào chất lượng dữ liệu đào tạo và nguồn kiến thức bên ngoài.
• Khó đảm bảo tính tổng quát hóa trên các lĩnh vực và phương thức khác nhau.
• Các nguyên nhân cơ bản của ảo giác như suy diễn quá mức vẫn chưa được giải quyết.

Giải quyết những thách thức này có thể đòi hỏi một phương pháp đa lớp kết hợp cải tiến dữ liệu đào tạo, cải tiến kiến trúc mô hình, tổn thất tăng cường tính xác thực và các kỹ thuật thời gian suy luận.

Con đường phía trước

Giảm thiểu ảo giác cho các LLM vẫn là một vấn đề nghiên cứu mở với tiến bộ đang diễn ra. Một số hướng đi đầy hứa hẹn trong tương lai bao gồm:

• Kỹ thuật hỗn hợp: Kết hợp các phương pháp bổ sung như tìm kiếm, nền tảng kiến thức và phản hồi.
• Mô hình nguyên nhân: Cải thiện sự hiểu biết và lý luận.
• Tích hợp kiến thức trực tuyến: Giữ kiến thức thế giới được cập nhật.
• Xác thực hình thức: Cung cấp các đảm bảo toán học về hành vi của mô hình.
• Khả năng giải thích: Xây dựng sự minh bạch vào các kỹ thuật giảm thiểu.

Khi các LLM tiếp tục lan rộng trong các lĩnh vực quan trọng, việc phát triển các giải pháp mạnh mẽ để kiềm chế ảo giác sẽ là chìa khóa để đảm bảo sự triển khai an toàn, đạo đức và đáng tin cậy của chúng. Các kỹ thuật được khảo sát trong bài viết này cung cấp một cái nhìn tổng quan về các kỹ thuật được đề xuất cho đến nay, nơi còn nhiều thách thức nghiên cứu mở. Tổng thể, có một xu hướng tích cực hướng tới tăng cường tính xác thực của mô hình, nhưng tiến bộ liên tục đòi hỏi giải quyết các hạn chế và khám phá các hướng đi mới như nguyên nhân, xác thực và phương pháp hỗn hợp. Với những nỗ lực cẩn thận từ các nhà nghiên cứu trên nhiều lĩnh vực, giấc mơ về các LLM mạnh mẽ nhưng đáng tin cậy có thể được hiện thực hóa.