Xử lý các vấn đề hiện tại trong LLM và nhìn về tương lai

Ngày nay, có hàng chục mô hình ngôn ngữ lớn (LLM) công khai có sẵn, chẳng hạn như GPT-3, GPT-4, LaMDA hoặc Bard, và số lượng này不断 tăng khi các mô hình mới được phát hành. LLM đã cách mạng hóa trí tuệ nhân tạo, hoàn toàn thay đổi cách chúng ta tương tác với công nghệ trên các ngành công nghiệp khác nhau. Những mô hình này cho phép chúng ta học hỏi từ nhiều tập dữ liệu ngôn ngữ của con người và đã mở ra những con đường mới cho sự đổi mới, sáng tạo và hiệu quả.

Tuy nhiên, với sức mạnh lớn như vậy cũng đi kèm với sự phức tạp lớn. Có những thách thức và vấn đề đạo đức nội tại xung quanh LLM mà phải được giải quyết trước khi chúng ta có thể sử dụng chúng một cách tối đa. Ví dụ, một nghiên cứu gần đây của Stanford đã tìm thấy sự thiên vị về chủng tộc và giới tính khi quan sát ChatGPT-4 về cách nó xử lý các truy vấn bao gồm tên và họ gợi ý về chủng tộc hoặc giới tính. Trong nghiên cứu này, chương trình đã được yêu cầu tư vấn về việc trả bao nhiêu cho một chiếc xe đạp cũ được bán bởi một người tên là Jamal Washington, điều này đã dẫn đến một số tiền thấp hơn nhiều so với khi người bán là Logan Becker. Khi những phát hiện như vậy tiếp tục được đưa ra, nhu cầu giải quyết các thách thức của LLM chỉ tăng lên.

Làm thế nào để giảm thiểu các mối quan ngại phổ biến của LLM

Thiên vị

Một trong những vấn đề được thảo luận nhiều nhất trong LLM là thiên vị và công bằng. Trong một nghiên cứu gần đây, các chuyên gia đã kiểm tra bốn LLM đã được công bố gần đây và phát hiện ra rằng tất cả chúng đều thể hiện những giả định thiên vị về nam và nữ, đặc biệt là những giả định phù hợp với nhận thức của con người hơn là những giả định dựa trên thực tế. Trong bối cảnh này, thiên vị đề cập đến việc đối xử không công bằng hoặc kết quả khác nhau giữa các nhóm xã hội khác nhau, có khả năng do sự mất cân bằng quyền lực lịch sử hoặc cấu trúc.

Trong LLM, thiên vị là do sự lựa chọn dữ liệu, nhân khẩu học của người tạo và sự thiên vị ngôn ngữ hoặc văn hóa. Sự thiên vị trong lựa chọn dữ liệu xảy ra khi các văn bản được chọn để đào tạo LLM không đại diện cho sự đa dạng của ngôn ngữ được sử dụng trên web. LLM được đào tạo trên các tập dữ liệu rộng lớn nhưng hạn chế có thể kế thừa những thiên vị đã có trong những văn bản này. Với nhân khẩu học của người tạo, một số nhóm nhân khẩu học được nhấn mạnh nhiều hơn những nhóm khác, điều này cho thấy sự cần thiết của sự đa dạng và hòa nhập hơn trong việc tạo nội dung để giảm thiên vị. Ví dụ, Wikipedia, một nguồn đào tạo dữ liệu phổ biến, thể hiện sự mất cân bằng nhân khẩu học đáng kể trong số các biên tập viên của nó với đa số nam giới (84%). Điều này tương tự như sự thiên vị được tìm thấy trong ngôn ngữ và văn hóa cũng như vậy. Nhiều nguồn mà LLM được đào tạo trên chúng bị thiên vị, nghiêng về tiếng Anh, điều này chỉ đôi khi dịch chính xác sang các ngôn ngữ và văn hóa khác.

Điều quan trọng là LLM phải được đào tạo trên dữ liệu đã được lọc và có các rào cản để ngăn chặn các chủ đề không nhất quán với dữ liệu. Một cách để thực hiện việc này là thông qua các kỹ thuật tăng cường dữ liệu. Bạn có thể thêm các ví dụ từ các nhóm bị đại diện thấp vào dữ liệu đào tạo, do đó mở rộng sự đa dạng của tập dữ liệu. Một chiến lược giảm thiểu khác là lọc và tái cân bằng dữ liệu, chủ yếu tập trung vào việc nhắm mục tiêu chính xác đến các ví dụ cụ thể, bị đại diện thấp trong một tập dữ liệu hiện có.

Ảo giác

Trong bối cảnh của LLM, ảo giác là một hiện tượng được đặc trưng bởi việc tạo ra một văn bản, trong khi ngữ pháp chính xác và dường như hợp lý, nhưng lại đi chệch khỏi độ chính xác của sự kiện hoặc ý định của tài liệu nguồn. Trên thực tế, các báo cáo gần đây đã tìm thấy một vụ kiện liên quan đến một luật của Minnesota bị ảnh hưởng bởi ảo giác của LLM. Một bản tuyên thệ được gửi để hỗ trợ luật này đã được tìm thấy có chứa các nguồn không tồn tại có thể đã được ảo giác bởi ChatGPT hoặc một LLM khác. Những ảo giác này có thể dễ dàng làm giảm độ tin cậy của LLM.

Có ba hình thức ảo giác chính:

1. Ảo giác mâu thuẫn với đầu vào: Điều này xảy ra khi đầu ra của LLM đi chệch khỏi đầu vào mà người dùng cung cấp, thường bao gồm hướng dẫn nhiệm vụ và nội dung thực tế cần được xử lý.
2. Ảo giác mâu thuẫn với ngữ cảnh: LLM có thể tạo ra các phản hồi không nhất quán nội bộ trong các tình huống liên quan đến hội thoại kéo dài hoặc nhiều trao đổi. Điều này cho thấy sự thiếu hụt tiềm năng trong khả năng theo dõi ngữ cảnh hoặc duy trì tính nhất quán trong các tương tác khác nhau.
3. Ảo giác mâu thuẫn với sự kiện: Hình thức ảo giác này xuất hiện khi LLM tạo ra nội dung mâu thuẫn với kiến thức sự kiện đã được thiết lập. Nguồn gốc của những lỗi này là đa dạng và có thể xảy ra tại các giai đoạn khác nhau trong vòng đời của LLM.

Nhiều yếu tố đã góp phần vào hiện tượng này, chẳng hạn như thiếu hụt kiến thức, điều này giải thích cách LLM có thể thiếu kiến thức hoặc khả năng hấp thụ thông tin chính xác trong quá trình đào tạo trước. Ngoài ra, thiên vị trong dữ liệu đào tạo hoặc chiến lược tạo tuần tự của LLM, được gọi là “hiệu ứng tuyết ảo giác”, có thể tạo ra ảo giác.

Có những cách để giảm thiểu ảo giác, mặc dù chúng sẽ luôn là một đặc điểm của LLM. Các chiến lược giảm thiểu hữu ích cho ảo giác là giảm thiểu trong quá trình đào tạo trước (tinh chỉnh dữ liệu bằng các kỹ thuật lọc) hoặc tinh chỉnh (lọc dữ liệu đào tạo). Tuy nhiên, giảm thiểu trong quá trình suy luận là giải pháp tốt nhất do tính hiệu quả về chi phí và khả năng kiểm soát.

Riêng tư

Với sự gia tăng của internet, khả năng tiếp cận thông tin cá nhân và dữ liệu riêng tư khác đã trở thành một mối quan ngại rộng rãi. Một nghiên cứu đã tìm thấy rằng 80% người tiêu dùng Mỹ lo ngại rằng dữ liệu của họ đang được sử dụng để đào tạo các mô hình AI. Vì các LLM nổi bật nhất được lấy từ các trang web, chúng ta phải xem xét cách điều này tạo ra rủi ro riêng tư và vẫn là một vấn đề chưa được giải quyết lớn cho LLM.

Cách đơn giản nhất để ngăn LLM phân phối thông tin cá nhân là loại bỏ thông tin đó khỏi dữ liệu đào tạo. Tuy nhiên, do số lượng lớn dữ liệu liên quan đến LLM, gần như không thể đảm bảo rằng tất cả thông tin riêng tư đã bị xóa. Một giải pháp thay thế phổ biến cho các tổ chức dựa vào các mô hình được phát triển bên ngoài là chọn một LLM mã nguồn mở thay vì một dịch vụ như ChatGPT.

Với cách tiếp cận này, một bản sao của mô hình có thể được triển khai nội bộ. Các lời nhắc của người dùng vẫn an toàn trong mạng của tổ chức thay vì bị phơi bày với các dịch vụ của bên thứ ba. Mặc dù điều này giảm đáng kể rủi ro rò rỉ dữ liệu nhạy cảm, nhưng nó cũng thêm sự phức tạp đáng kể. Do những khó khăn trong việc đảm bảo hoàn toàn bảo vệ dữ liệu riêng tư, vẫn quan trọng đối với các nhà phát triển ứng dụng phải xem xét cách những mô hình này có thể đặt người dùng của họ vào rủi ro.

Phương diện mới cho LLM

Khi chúng ta tiếp tục phát triển và định hình các evolutions tiếp theo của LLM thông qua việc giảm thiểu các rủi ro hiện tại, chúng ta nên mong đợi sự xuất hiện của các tác nhân LLM, điều mà chúng ta đã thấy các công ty như H với Runner H, bắt đầu phát hành. Sự chuyển đổi từ các mô hình ngôn ngữ thuần túy sang các kiến trúc tác nhân đại diện cho một sự thay đổi trong thiết kế hệ thống AI; ngành công nghiệp sẽ vượt qua các hạn chế vốn có của các giao diện trò chuyện và tạo sinh tăng cường đơn giản. Những khuôn khổ tác nhân mới này sẽ có các mô-đun lập kế hoạch tinh vi phân chia các mục tiêu phức tạp thành các nhiệm vụ con nguyên tử, duy trì bộ nhớ giai đoạn cho lý luận ngữ cảnh và tận dụng các công cụ chuyên dụng thông qua các API được xác định rõ. Điều này tạo ra một cách tiếp cận mạnh mẽ hơn cho tự động hóa nhiệm vụ.

Bên cạnh LLM, sẽ có sự tập trung nhiều hơn vào việc đào tạo các mô hình ngôn ngữ nhỏ hơn do tính hiệu quả về chi phí, tính khả dụng và dễ triển khai của chúng. Ví dụ, các mô hình ngôn ngữ chuyên ngành chuyên về các ngành hoặc lĩnh vực cụ thể. Những mô hình này được tinh chỉnh với dữ liệu và thuật ngữ chuyên ngành, khiến chúng trở nên lý tưởng cho các môi trường phức tạp và được quản lý, như lĩnh vực y tế hoặc pháp lý, nơi độ chính xác là điều thiết yếu. Cách tiếp cận này giảm thiểu khả năng xảy ra lỗi và ảo giác mà các mô hình chung có thể tạo ra khi đối mặt với nội dung chuyên ngành.

Khi chúng ta tiếp tục khám phá các phương diện mới trong LLM, điều quan trọng là phải thúc đẩy ranh giới của sự đổi mới và giải quyết cũng như giảm thiểu các rủi ro tiềm ẩn liên quan đến sự phát triển và triển khai của chúng. Chỉ bằng cách xác định và giải quyết proactively các thách thức liên quan đến thiên vị, ảo giác và riêng tư, chúng ta mới có thể tạo ra một nền tảng vững chắc hơn cho LLM để phát triển mạnh trên nhiều lĩnh vực.