Những ảo giác trong LLM: Nguyên nhân, lo ngại về đạo đức và phòng ngừa

Các mô hình ngôn ngữ lớn (LLM) là hệ thống trí tuệ nhân tạo có khả năng phân tích và tạo ra văn bản giống con người. Tuy nhiên, chúng có một vấn đề – LLM ảo giác, tức là tạo ra thông tin không có thực. Những ảo giác của LLM đã khiến các nhà nghiên cứu lo lắng về sự tiến bộ trong lĩnh vực này vì nếu các nhà nghiên cứu không thể kiểm soát kết quả của các mô hình, thì họ không thể xây dựng các hệ thống quan trọng để phục vụ nhân loại. Sẽ có thêm thông tin về vấn đề này sau.

Thông thường, LLM sử dụng lượng dữ liệu đào tạo lớn và các thuật toán học phức tạp để tạo ra đầu ra thực tế. Trong một số trường hợp, học trong ngữ cảnh được sử dụng để đào tạo các mô hình này chỉ với một vài ví dụ. LLM đang trở nên phổ biến trên nhiều lĩnh vực ứng dụng khác nhau, từ dịch máy, phân tích cảm xúc, trợ lý ảo AI, chú thích hình ảnh, xử lý ngôn ngữ tự nhiên, v.v.

Mặc dù LLM có tính chất tiên tiến, chúng vẫn dễ bị thiên vị, lỗi và ảo giác. Yann LeCun, hiện là Chief AI Scientist tại Meta, gần đây đã đề cập đến lỗi cơ bản trong LLM gây ra ảo giác: “Các mô hình ngôn ngữ lớn không có ý thức về thực tế cơ bản mà ngôn ngữ mô tả. Những hệ thống này tạo ra văn bản nghe có vẻ tốt, về mặt ngữ pháp và ngữ nghĩa, nhưng chúng không thực sự có mục tiêu nào khác ngoài việc thỏa mãn sự nhất quán thống kê với lời nhắc”.

Ảo giác trong LLM

Hình ảnh bởi Gerd Altmann từ Pixabay

Ảo giác đề cập đến việc mô hình tạo ra đầu ra đúng về mặt ngữ pháp và ngữ nghĩa nhưng không liên quan đến thực tế và dựa trên giả định sai. Ảo giác là một trong những lo ngại đạo đức lớn của LLM, và nó có thể gây ra hậu quả có hại khi người dùng không có kiến thức chuyên môn bắt đầu phụ thuộc quá nhiều vào những mô hình ngôn ngữ ngày càng thuyết phục này.

Một mức độ ảo giác nhất định là không thể tránh khỏi trong tất cả các LLM tự hồi quy. Ví dụ, một mô hình có thể gán một câu trích dẫn giả cho một người nổi tiếng mà không bao giờ nói. Chúng có thể khẳng định điều gì đó về một chủ đề cụ thể là không chính xác về mặt事 thực hoặc trích dẫn nguồn không tồn tại trong các bài nghiên cứu, do đó lan truyền thông tin sai lệch.

Tuy nhiên, việc khiến các mô hình AI ảo giác không phải lúc nào cũng có tác động tiêu cực. Ví dụ, một nghiên cứu mới cho thấy các nhà khoa học đang khám phá ra ‘các protein mới với hàng loạt thuộc tính không giới hạn’ thông qua các LLM ảo giác.

Nguyên nhân gây ra ảo giác trong LLM

LLM có thể ảo giác do nhiều yếu tố, từ lỗi quá拟 trong mã hóa và giải mã đến thiên vị trong đào tạo.

Quá拟

Hình ảnh bởi janjf93 từ Pixabay

Quá拟 là vấn đề mà một mô hình AI phù hợp quá tốt với dữ liệu đào tạo. Tuy nhiên, nó không thể đại diện đầy đủ cho tất cả các đầu vào mà nó có thể gặp phải, tức là nó không thể tổng quát hóa sức mạnh dự đoán của mình cho dữ liệu mới, chưa từng thấy. Quá拟 có thể dẫn đến việc mô hình tạo ra nội dung ảo giác.

Lỗi mã hóa và giải mã

Hình ảnh bởi geralt từ Pixabay

Nếu có lỗi trong mã hóa và giải mã văn bản và các biểu diễn sau đó, điều này cũng có thể gây ra mô hình tạo ra đầu ra không hợp lý và sai lầm.

Thiên vị trong đào tạo

Hình ảnh bởi Quince Creative từ Pixabay

Một yếu tố khác là sự hiện diện của các thiên vị nhất định trong dữ liệu đào tạo, điều này có thể gây ra mô hình đưa ra kết quả đại diện cho những thiên vị đó chứ không phải bản chất thực sự của dữ liệu. Điều này tương tự như sự thiếu đa dạng trong dữ liệu đào tạo, điều này hạn chế khả năng tổng quát hóa của mô hình cho dữ liệu mới.

Cấu trúc phức tạp của LLM khiến cho các nhà nghiên cứu và thực hành viên AI gặp khó khăn trong việc xác định, giải thích và sửa lỗi các nguyên nhân cơ bản của ảo giác.

Lo ngại đạo đức về ảo giác của LLM

LLM có thể duy trì và khuếch đại các thiên vị có hại thông qua ảo giác và có thể gây ra tác động tiêu cực đến người dùng và có hậu quả xã hội tiêu cực. Một số lo ngại đạo đức quan trọng nhất được liệt kê dưới đây:

Nội dung phân biệt và độc hại

Hình ảnh bởi ar130405 từ Pixabay

Vì dữ liệu đào tạo của LLM thường chứa đầy các khuôn mẫu xã hội và văn hóa do thiên vị và thiếu đa dạng. LLM có thể tạo ra và củng cố những ý tưởng có hại này đối với các nhóm yếu thế trong xã hội.

Chúng có thể tạo ra nội dung phân biệt và thù hận dựa trên chủng tộc, giới tính, tôn giáo, dân tộc, v.v.

Vấn đề bảo mật

Hình ảnh bởi JanBaby từ Pixabay

LLM được đào tạo trên một tập dữ liệu đào tạo lớn thường bao gồm thông tin cá nhân của các cá nhân. Đã có trường hợp các mô hình như vậy vi phạm quyền riêng tư của người dùng. Chúng có thể tiết lộ thông tin cụ thể như số an sinh xã hội, địa chỉ nhà, số điện thoại di động và chi tiết y tế.

Thông tin sai lệch và thông tin giả

Hình ảnh bởi geralt từ Pixabay

Các mô hình ngôn ngữ có thể tạo ra nội dung giống con người mà có vẻ chính xác nhưng thực tế là sai và không được hỗ trợ bởi bằng chứng thực nghiệm. Điều này có thể là vô tình, dẫn đến thông tin sai lệch, hoặc nó có thể có ý định xấu để cố ý lan truyền thông tin giả. Nếu điều này không được kiểm soát, nó có thể tạo ra xu hướng xã hội, văn hóa, kinh tế, chính trị tiêu cực.

Phòng ngừa ảo giác trong LLM

Hình ảnh bởi athree23 từ Pixabay

Các nhà nghiên cứu và thực hành viên đang thực hiện các phương pháp khác nhau để giải quyết vấn đề ảo giác trong LLM. Những phương pháp này bao gồm cải thiện đa dạng của dữ liệu đào tạo, loại bỏ thiên vị nội tại, sử dụng các kỹ thuật điều chỉnh tốt hơn và sử dụng đào tạo đối抗 và học tăng cường, v.v.:

• Phát triển các kỹ thuật điều chỉnh tốt hơn là cốt lõi của việc giải quyết ảo giác. Chúng giúp ngăn chặn quá拟 và các vấn đề khác gây ra ảo giác.
• Tăng cường dữ liệu có thể giảm tần suất ảo giác, như được chứng minh bởi một nghiên cứu. Tăng cường dữ liệu liên quan đến việc tăng cường tập dữ liệu đào tạo bằng cách thêm một token ngẫu nhiên vào bất kỳ vị trí nào trong câu. Nó tăng gấp đôi kích thước của tập dữ liệu đào tạo và gây ra sự giảm tần suất ảo giác.
• OpenAI và Google’s DeepMind đã phát triển một kỹ thuật gọi là học tăng cường với phản hồi của con người (RLHF) để giải quyết vấn đề ảo giác của ChatGPT. Nó liên quan đến một người đánh giá con người thường xuyên xem xét phản hồi của mô hình và chọn ra phản hồi phù hợp nhất cho người dùng. Phản hồi này sau đó được sử dụng để điều chỉnh hành vi của mô hình. Ilya Sutskever, nhà khoa học trưởng của OpenAI, gần đây đã đề cập rằng phương pháp này có thể giải quyết ảo giác trong ChatGPT: “Tôi khá hy vọng rằng bằng cách cải thiện bước học tăng cường từ phản hồi của con người, chúng ta có thể dạy nó không ảo giác”.
• Xác định nội dung ảo giác để sử dụng làm ví dụ cho đào tạo trong tương lai cũng là một phương pháp được sử dụng để giải quyết ảo giác. Một kỹ thuật mới trong lĩnh vực này phát hiện ảo giác ở mức token và dự đoán liệu mỗi token trong đầu ra có phải là ảo giác hay không. Nó cũng bao gồm một phương pháp để học không giám sát các bộ phát hiện ảo giác.

Phát hiện ảo giác ở mức token

Tóm lại, ảo giác trong LLM là một vấn đề ngày càng tăng. Và mặc dù có những nỗ lực, vẫn còn nhiều công việc cần được thực hiện để giải quyết vấn đề này. Sự phức tạp của những mô hình này khiến cho việc xác định và sửa lỗi các nguyên nhân cơ bản của ảo giác trở nên khó khăn.

Tuy nhiên, với sự tiếp tục nghiên cứu và phát triển, việc giảm thiểu ảo giác trong LLM và giảm thiểu các hậu quả đạo đức của chúng là có thể.

Nếu bạn muốn tìm hiểu thêm về LLM và các kỹ thuật phòng ngừa đang được phát triển để giải quyết vấn đề ảo giác của LLM, hãy truy cập unite.ai để mở rộng kiến thức của bạn.