Xử lý Các Vấn Đề Hiện Tại Trong LLMs & Nhìn Về Tương Lai

Ngày nay, có hàng chục mô hình ngôn ngữ lớn (LLMs) được công khai, chẳng hạn như GPT-3, GPT-4, LaMDA hoặc Bard, và số lượng này不断 tăng khi các mô hình mới được phát hành. LLMs đã cách mạng hóa trí tuệ nhân tạo, hoàn toàn thay đổi cách chúng ta tương tác với công nghệ trên các ngành công nghiệp khác nhau. Những mô hình này cho phép chúng ta học hỏi từ nhiều tập dữ liệu ngôn ngữ của con người và đã mở ra những con đường mới cho sự đổi mới, sáng tạo và hiệu quả.

Tuy nhiên, với sức mạnh lớn thì cũng có sự phức tạp lớn. Có những thách thức và vấn đề đạo đức nội tại xung quanh LLMs mà phải được giải quyết trước khi chúng ta có thể sử dụng chúng một cách tối đa. Ví dụ, một nghiên cứu gần đây của Stanford đã phát hiện ra sự thiên vị về chủng tộc và giới tính khi quan sát ChatGPT-4 về cách nó đối xử với một số truy vấn bao gồm tên và họ gợi ý về chủng tộc hoặc giới tính. Trong nghiên cứu này, chương trình được yêu cầu tư vấn về việc trả bao nhiêu cho một chiếc xe đạp cũ được bán bởi một người tên là Jamal Washington, điều này đã cho ra một số tiền thấp hơn nhiều so với khi người bán là Logan Becker. Khi những phát hiện này tiếp tục được đưa ra, nhu cầu giải quyết các thách thức của LLMs chỉ tăng lên.

Làm Thế Nào Để Giảm Thiểu Các Lo Lắng Chung Của LLM

Thiên Vị

Một trong những vấn đề được thảo luận nhiều nhất trong LLMs là thiên vị và công bằng. Trong một nghiên cứu gần đây, các chuyên gia đã kiểm tra bốn LLMs mới được công bố và phát hiện ra rằng tất cả chúng đều thể hiện những giả định thiên vị về nam và nữ, đặc biệt là những giả định phù hợp với nhận thức của con người chứ không phải dựa trên thực tế. Trong bối cảnh này, thiên vị đề cập đến việc đối xử hoặc kết quả không công bằng giữa các nhóm xã hội khác nhau, có khả năng do sự mất cân bằng quyền lực lịch sử hoặc cấu trúc.

Trong LLMs, thiên vị được gây ra bởi việc lựa chọn dữ liệu, nhân khẩu học của người tạo và thiên vị ngôn ngữ hoặc văn hóa. Thiên vị lựa chọn dữ liệu xảy ra khi các văn bản được chọn để đào tạo LLM không đại diện cho sự đa dạng ngôn ngữ được sử dụng trên web. LLMs được đào tạo trên các tập dữ liệu rộng lớn nhưng hạn chế có thể kế thừa những thiên vị đã có trong những văn bản này. Với nhân khẩu học của người tạo, một số nhóm dân số được nhấn mạnh nhiều hơn những nhóm khác, điều này cho thấy sự cần thiết của sự đa dạng và hòa nhập hơn trong việc tạo nội dung để giảm thiên vị. Ví dụ, Wikipedia, một nguồn thông tin đào tạo phổ biến, thể hiện sự mất cân bằng dân số đáng kể giữa các biên tập viên với đa số là nam giới (84%). Điều này tương tự như sự thiên vị được tìm thấy trong ngôn ngữ và văn hóa cũng như vậy. Nhiều nguồn mà LLMs được đào tạo trên chúng bị thiên vị, thiên về tiếng Anh, điều này chỉ đôi khi dịch chính xác qua các ngôn ngữ và văn hóa khác.

Điều quan trọng là LLMs phải được đào tạo trên dữ liệu đã được lọc và có các rào cản để ngăn chặn các chủ đề không phải là đại diện chính xác của dữ liệu. Một cách để thực hiện việc này là thông qua các kỹ thuật tăng cường dữ liệu. Bạn có thể thêm các ví dụ từ các nhóm bị đại diện thấp vào dữ liệu đào tạo, do đó mở rộng sự đa dạng của tập dữ liệu. Một chiến lược giảm thiểu khác là lọc và tái cân nhắc dữ liệu, chủ yếu tập trung vào việc nhắm mục tiêu chính xác vào các ví dụ cụ thể bị đại diện thấp trong một tập dữ liệu hiện có.

Ảo Tưởng

Trong bối cảnh của LLMs, ảo tưởng là một hiện tượng được đặc trưng bởi việc tạo ra văn bản mà, mặc dù đúng về mặt ngữ pháp và dường như nhất quán, nhưng lại đi chệch khỏi độ chính xác về mặt事 thực hoặc ý định của tài liệu nguồn. Trên thực tế, các báo cáo gần đây đã phát hiện ra rằng một vụ kiện về một luật Minnesota đang bị ảnh hưởng trực tiếp bởi ảo tưởng của LLM. Một bản tuyên thệ được gửi để hỗ trợ luật này đã được phát hiện có chứa các nguồn không tồn tại có thể đã được ảo tưởng bởi ChatGPT hoặc một LLM khác. Những ảo tưởng này có thể dễ dàng giảm độ tin cậy của một LLM.

Có ba hình thức ảo tưởng chính:

1. Ảo tưởng mâu thuẫn với đầu vào: Điều này xảy ra khi đầu ra của một LLM đi chệch khỏi đầu vào mà người dùng cung cấp, thường bao gồm hướng dẫn nhiệm vụ và nội dung thực tế cần được xử lý.
2. Ảo tưởng mâu thuẫn với ngữ cảnh: LLMs có thể tạo ra các phản hồi không nhất quán nội bộ trong các tình huống liên quan đến hội thoại kéo dài hoặc nhiều lượt trao đổi. Điều này cho thấy sự thiếu hụt tiềm năng trong khả năng theo dõi ngữ cảnh hoặc duy trì tính nhất quán trên các tương tác khác nhau.
3. Ảo tưởng mâu thuẫn với sự thật: Hình thức ảo tưởng này xuất hiện khi một LLM tạo ra nội dung mâu thuẫn với kiến thức事 thực đã được thiết lập. Nguồn gốc của những lỗi này là đa dạng và có thể xảy ra tại các giai đoạn khác nhau trong vòng đời của một LLM.

Nhiều yếu tố đã góp phần vào hiện tượng này, chẳng hạn như sự thiếu hụt kiến thức, điều này giải thích cách LLMs có thể thiếu kiến thức hoặc khả năng hấp thụ thông tin một cách chính xác trong quá trình tiền đào tạo. Ngoài ra, thiên vị trong dữ liệu đào tạo hoặc chiến lược tạo tuần tự của LLMs, được gọi là “hiệu ứng tuyết ảo tưởng”, có thể tạo ra ảo tưởng.

Có cách để giảm thiểu ảo tưởng, mặc dù chúng sẽ luôn là một đặc điểm của LLMs. Các chiến lược giảm thiểu hữu ích cho ảo tưởng là giảm thiểu trong quá trình tiền đào tạo (làm tinh chỉnh dữ liệu bằng cách sử dụng các kỹ thuật lọc) hoặc tinh chỉnh (chọn lọc dữ liệu đào tạo). Tuy nhiên, giảm thiểu trong quá trình suy luận là giải pháp tốt nhất do tính hiệu quả về chi phí và khả năng kiểm soát.

Riêng Tư

Với sự gia tăng của internet, sự dễ dàng tiếp cận thông tin cá nhân và các dữ liệu riêng tư khác đã trở thành một mối quan ngại được công nhận rộng rãi. Một nghiên cứu đã phát hiện ra rằng 80% người tiêu dùng Mỹ lo lắng rằng dữ liệu của họ đang được sử dụng để đào tạo các mô hình AI. Vì các LLMs nổi bật nhất được lấy từ các trang web, chúng ta phải xem xét cách đây đặt ra các rủi ro về quyền riêng tư và vẫn là một vấn đề chưa được giải quyết lớn cho LLMs.

Cách trực tiếp nhất để ngăn LLMs phân phối thông tin cá nhân là loại bỏ nó khỏi dữ liệu đào tạo. Tuy nhiên, given số lượng lớn dữ liệu liên quan đến LLMs, gần như không thể đảm bảo rằng tất cả thông tin riêng tư đã bị xóa. Một giải pháp thay thế phổ biến khác cho các tổ chức dựa vào các mô hình được phát triển bên ngoài là chọn một LLM mã nguồn mở thay vì một dịch vụ như ChatGPT.

Với cách tiếp cận này, một bản sao của mô hình có thể được triển khai nội bộ. Các yêu cầu của người dùng vẫn an toàn trong mạng của tổ chức thay vì bị lộ cho các dịch vụ của bên thứ ba. Mặc dù điều này giảm đáng kể rủi ro rò rỉ dữ liệu nhạy cảm, nhưng nó cũng thêm sự phức tạp đáng kể. Given khó khăn trong việc đảm bảo hoàn toàn bảo vệ dữ liệu riêng tư, điều quan trọng là các nhà phát triển ứng dụng phải xem xét cách những mô hình này có thể đặt người dùng của họ vào rủi ro.

Phương Tiện Tiếp Theo Cho LLMs

Khi chúng ta tiếp tục phát triển và định hình các evolutions tiếp theo của LLMs thông qua việc giảm thiểu các rủi ro hiện tại, chúng ta nên mong đợi sự xuất hiện của các tác nhân LLM, điều mà chúng ta đã thấy các công ty như H với Runner H, bắt đầu phát hành. Sự chuyển đổi từ các mô hình ngôn ngữ thuần túy sang các kiến trúc tác nhân đại diện cho một sự thay đổi trong thiết kế hệ thống AI; ngành công nghiệp sẽ chuyển qua các giới hạn vốn có của các giao diện trò chuyện và tạo sinh tăng cường đơn giản. Những khung tác nhân mới này sẽ có các mô-đun lập kế hoạch tinh vi phân chia các mục tiêu phức tạp thành các nhiệm vụ con nguyên tử, duy trì bộ nhớ giai đoạn cho lý luận ngữ cảnh và tận dụng các công cụ chuyên dụng thông qua các API được định nghĩa rõ ràng. Điều này tạo ra một cách tiếp cận mạnh mẽ hơn để tự động hóa nhiệm vụ.

Ngoài LLMs, sẽ có sự tập trung nhiều hơn vào việc đào tạo các mô hình ngôn ngữ nhỏ hơn do tính hiệu quả về chi phí, tính khả dụng và dễ triển khai. Ví dụ, các mô hình ngôn ngữ chuyên ngành chuyên về các ngành hoặc lĩnh vực cụ thể. Những mô hình này được tinh chỉnh với dữ liệu và thuật ngữ chuyên ngành, làm cho chúng lý tưởng cho các môi trường phức tạp và được quản lý, như lĩnh vực y tế hoặc pháp lý, nơi độ chính xác là điều thiết yếu. Cách tiếp cận này giảm thiểu khả năng xảy ra lỗi và ảo tưởng mà các mô hình chung có thể tạo ra khi đối mặt với nội dung chuyên ngành.

Khi chúng ta tiếp tục khám phá các biên giới mới trong LLMs, điều quan trọng là phải đẩy ranh giới của sự đổi mới và giải quyết cũng như giảm thiểu các rủi ro tiềm ẩn liên quan đến sự phát triển và triển khai của chúng. Chỉ bằng cách xác định và chủ động giải quyết các thách thức liên quan đến thiên vị, ảo tưởng và quyền riêng tư, chúng ta mới có thể tạo ra một nền tảng vững chắc hơn cho LLMs để phát triển trên các lĩnh vực đa dạng.