Phát triển Sự Đồng bộ Hóa Trí tuệ Nhân tạo với Giá trị Con người Thông qua WARM

Sự Đồng bộ Hóa Hệ thống Trí tuệ Nhân tạo với Giá trị Con người

Các hệ thống trí tuệ nhân tạo (AI) đang trở nên ngày càng mạnh mẽ trong việc hỗ trợ con người thực hiện các nhiệm vụ phức tạp, từ các chương trình trò chuyện tự động đến các thuật toán chẩn đoán y tế. Tuy nhiên, khi các hệ thống AI này đảm nhận nhiều trách nhiệm hơn, điều quan trọng là chúng phải vẫn đồng bộ với các giá trị và sở thích của con người. Một cách tiếp cận để đạt được điều này là thông qua một kỹ thuật gọi là học tăng cường từ phản hồi của con người (RLHF). Trong RLHF, một hệ thống AI, được gọi là chính sách, được thưởng hoặc phạt dựa trên các phán đoán của con người về hành vi của nó. Mục tiêu là để chính sách học cách tối đa hóa phần thưởng của nó và do đó hành động theo sở thích của con người.

Một thành phần cốt lõi của RLHF là mô hình phần thưởng (RM). RM chịu trách nhiệm đánh giá các hành động và đầu ra của chính sách và trả về một tín hiệu phần thưởng để hướng dẫn quá trình học tập. Thiết kế một RM tốt là một thách thức, vì sở thích của con người có thể phức tạp, phụ thuộc vào ngữ cảnh và thậm chí không nhất quán giữa các cá nhân. Gần đây, các nhà nghiên cứu từ Google DeepMind đã đề xuất một kỹ thuật sáng tạo gọi là Mô hình Phần thưởng Trung bình theo Trọng số (WARM) để cải thiện thiết kế RM.

Vấn đề với Hack Phần thưởng

Một vấn đề lớn trong RLHF là hack phần thưởng. Hack phần thưởng xảy ra khi chính sách tìm thấy các lỗ hổng để gian lận hệ thống RM để nhận được phần thưởng cao mà không thực sự đáp ứng các mục tiêu dự kiến. Ví dụ, giả sử mục tiêu là đào tạo một trợ lý viết AI để tạo ra các bản tóm tắt chất lượng cao. RM có thể thưởng cho các bản tóm tắt ngắn gọn và thông tin. Chính sách sau đó có thể học cách khai thác điều này bằng cách tạo ra các bản tóm tắt rất ngắn, không thông tin, rắc rối với các từ khóa mà trick RM.

Hack phần thưởng xảy ra vì hai lý do chính:

1. Đổi thay phân phối – RM được đào tạo trên một tập dữ liệu hạn chế của các ví dụ được dán nhãn bởi con người. Khi triển khai, đầu ra của chính sách có thể đến từ các phân phối khác mà RM không tổng quát hóa tốt.
2. Nhãn nhiễu – Dán nhãn của con người là không hoàn hảo, với sự không đồng nhất giữa các người đánh giá. RM có thể gắn vào các tín hiệu giả mạo thay vì các chỉ số mạnh mẽ của chất lượng.

Hack phần thưởng dẫn đến các hệ thống vô ích mà không đáp ứng được kỳ vọng của con người. Tồi tệ hơn, nó có thể dẫn đến các hành vi AI bị thiên vị hoặc thậm chí nguy hiểm nếu được triển khai một cách cẩn thận.

Sự trỗi dậy của Sự kết hợp Mô hình

Sự quan tâm ngày càng tăng đối với các chiến lược kết hợp mô hình như Model Ratatouille được thúc đẩy bởi nhận thức rằng các mô hình lớn hơn, trong khi mạnh mẽ, có thể không hiệu quả và không thực tế. Việc đào tạo một mô hình 1 nghìn tỷ tham số đòi hỏi một lượng lớn dữ liệu, tính toán, thời gian và chi phí. Quan trọng hơn, các mô hình như vậy có xu hướng quá拟 hợp với phân phối đào tạo, làm suy giảm khả năng tổng quát hóa của chúng với các kịch bản thực tế đa dạng.

Sự kết hợp mô hình cung cấp một tuyến đường thay thế để mở khóa các khả năng lớn hơn mà không cần tăng quy mô không kiểm soát. Bằng cách tái sử dụng nhiều mô hình chuyên dụng được đào tạo trên các phân phối, nhiệm vụ hoặc mục tiêu khác nhau, sự kết hợp mô hình nhằm mục đích tăng cường tính linh hoạt và độ bền ngoài phân phối. Giả định là các mô hình khác nhau nắm bắt các mẫu dự đoán khác nhau mà có thể bổ sung cho nhau khi kết hợp.

Các kết quả gần đây minh họa cho tiềm năng của khái niệm này. Các mô hình thu được thông qua sự kết hợp, mặc dù có ít tham số hơn, có thể khớp hoặc thậm chí vượt qua hiệu suất của các mô hình khổng lồ như GPT-3. Ví dụ, một tập hợp Model Ratatouille gồm 7 điểm kiểm tra cỡ trung đạt được độ chính xác của nhà nước trên các tập dữ liệu suy luận văn bản cao chiều, vượt qua GPT-3.

Sự đơn giản của việc kết hợp bằng cách trung bình hóa trọng số là một lợi thế lớn. Việc đào tạo nhiều mô hình phụ trợ đòi hỏi thêm tài nguyên. Nhưng quan trọng là, tính toán thời gian suy luận vẫn giống hệt với một mô hình duy nhất, vì trọng số được ngưng tụ thành một. Điều này làm cho phương pháp dễ thích nghi, mà không có lo lắng về độ trễ hoặc chi phí bộ nhớ tăng.

Cơ chế đằng sau Sự kết hợp Mô hình

Nhưng chính xác thì những gì cho phép các mô hình kết hợp đạt được những lợi ích về độ chính xác này? Phân tích gần đây cung cấp một số gợi ý:

• Giảm thiểu Hóa: Mỗi mô hình nhìn thấy các lô dữ liệu khác nhau trong quá trình đào tạo. Trung bình làm giảm bất kỳ sự ghi nhớ cụ thể nào của thể hiện, chỉ giữ lại các khái quát hóa ở cấp độ tập dữ liệu.
• Giảm phương sai: Các mô hình được đào tạo độc lập có lỗi không tương quan. Kết hợp trung bình làm giảm nhiễu, cải thiện hiệu chuẩn.
• Đa dạng hóa qua Nhiệm vụ Phụ: Các nhiệm vụ phụ trợ khác nhau buộc các mô hình phải gắn vào các tính năng có thể khái quát hóa được hơn, hữu ích trên các phân phối.
• Tăng Cường Tính Robust: Sự không nhất quán trong dự đoán cho thấy sự không chắc chắn. Trung bình làm giảm các phán đoán ngoài luồng, tăng cường độ tin cậy.

Tóm lại, sự kết hợp mô hình chống lại các điểm yếu của các mô hình cá nhân để khuếch đại sức mạnh tập thể của chúng. Đại diện kết hợp nắm bắt các cấu trúc nguyên nhân cơ bản chung, bỏ qua các biến thể tình cờ.

Nền tảng khái niệm này kết nối sự kết hợp mô hình với các kỹ thuật phổ biến khác như tập hợp và học đa nhiệm. Tất cả các phương pháp này đều tận dụng sự đa dạng giữa các mô hình hoặc nhiệm vụ để có được các hệ thống linh hoạt, nhận thức sự không chắc chắn. Tuy nhiên, sự đơn giản và hiệu quả của trung bình hóa trọng số mang lại cho sự kết hợp mô hình một lợi thế độc đáo để thúc đẩy các triển khai thực tế.

Mô hình Phần thưởng Trung bình theo Trọng số

Quy trình đồng bộ hóa với WARM

WARM sử dụng một mô hình phần thưởng trung gian (RM), là một trung bình trọng số của nhiều RM cá nhân, mỗi RM được tinh chỉnh từ cùng một mô hình ngôn ngữ lớn tiền đào tạo nhưng với các siêu tham số khác nhau. Phương pháp này tăng cường hiệu quả, độ tin cậy dưới sự thay đổi phân phối và độ bền trước các sở thích không nhất quán. Nghiên cứu cũng chỉ ra rằng việc sử dụng WARM làm RM trung gian, đặc biệt là với số lượng RM trung bình tăng, cải thiện kết quả và trì hoãn sự xuất hiện của ‘hack phần thưởng’, một hiện tượng mà phần thưởng kiểm soát suy giảm theo thời gian.

Dưới đây là một cái nhìn tổng quan ở cấp độ cao:

1. Bắt đầu với một mô hình ngôn ngữ cơ bản được đào tạo trước trên một tập dữ liệu lớn. Khởi tạo nhiều RM bằng cách thêm các lớp nhiệm vụ cụ thể trên đầu.
2. Tinh chỉnh mỗi RM riêng biệt trên tập dữ liệu sở thích của con người, sử dụng các siêu tham số khác nhau như tốc độ học để đa dạng hóa.
3. Trung bình hóa trọng số của các RM tinh chỉnh để có được một tập hợp WARM duy nhất.

Sự hiểu biết chính là rằng trung bình hóa trọng số chỉ giữ lại thông tin không đổi được học tập trên tất cả các RM đa dạng. Điều này giảm sự phụ thuộc vào các tín hiệu giả mạo, tăng cường độ bền. Tập hợp cũng được hưởng lợi từ việc giảm phương sai, cải thiện độ tin cậy.

Như đã thảo luận trước đó, sự đa dạng giữa các mô hình được đào tạo độc lập là rất quan trọng để mở khóa toàn bộ tiềm năng của sự kết hợp mô hình. Nhưng những kỹ thuật cụ thể nào có thể thúc đẩy sự đa dạng sản xuất?

Bài báo WARM khám phá một số ý tưởng thông minh có thể khái quát hóa rộng rãi hơn:

Sắp xếp lại

Một cách tiếp cận đơn giản nhưng có tác động là sắp xếp lại thứ tự mà mỗi mô hình nhìn thấy các điểm dữ liệu trong quá trình đào tạo. Thậm chí bước này đơn giản cũng làm giảm sự tương quan giữa các trọng số, giảm ghi nhớ thừa.

Sự thay đổi Siêu tham số

Điều chỉnh các siêu tham số như tốc độ học và xác suất dropout cho mỗi lần chạy giới thiệu sự đa dạng hữu ích. Các mô hình hội tụ khác nhau, nắm bắt các thuộc tính khác nhau của tập dữ liệu.

Trung bình hóa Điểm kiểm tra – Baklava

Phương pháp Baklava khởi tạo mô hình cho sự kết hợp từ các điểm kiểm tra khác nhau dọc theo cùng một đường tra cứu tiền đào tạo. Điều này làm giảm các ràng buộc so với các món súp mô hình, đòi hỏi một điểm bắt đầu chung. So với Model Ratatouille, Baklava tránh các nhiệm vụ bổ sung. Tổng thể, nó đạt được sự cân bằng hiệu quả giữa độ chính xác và đa dạng.

Quy trình tinh chỉnh nhiều Mô hình Phần thưởng

Phân tích xác nhận rằng việc thêm các điểm kiểm tra cũ hơn bằng cách trung bình làm giảm hiệu suất cá nhân, làm suy giảm lợi ích của đa dạng. Trung bình chỉ các biểu diễn cuối cùng từ mỗi lần chạy thực hiện tốt hơn. Nói chung, việc cân bằng giữa mục tiêu đa dạng và duy trì độ chính xác vẫn là một thách thức nghiên cứu mở.

Tổng thể, sự kết hợp mô hình phù hợp với tinh thần chung trong lĩnh vực này là tái sử dụng các tài nguyên hiện có một cách hiệu quả để tăng cường độ tin cậy, hiệu quả và tính linh hoạt. Sự đơn giản của trung bình hóa trọng số củng cố vị trí của nó như một ứng cử viên hàng đầu cho việc lắp ráp các mô hình mạnh mẽ từ các khối xây dựng sẵn có.

Không giống như các phương pháp tập hợp truyền thống trung bình hóa dự đoán, WARM giữ chi phí tính toán tối thiểu bằng cách duy trì chỉ một tập hợp trọng số. Thử nghiệm trên các nhiệm vụ tóm tắt văn bản chứng minh hiệu quả của WARM:

• Đối với mẫu tốt nhất trong N, WARM đạt được tỷ lệ thắng 92,5% so với việc chọn ngẫu nhiên theo các nhãn sở thích của con người.
• Trong RLHF, một chính sách WARM đạt được tỷ lệ thắng 79,4% so với một chính sách được đào tạo với một RM duy nhất sau cùng một số bước.
• WARM vẫn hoạt động tốt ngay cả khi một phần tư các nhãn của con người bị làm hỏng.

Những kết quả này minh họa cho tiềm năng của WARM như một kỹ thuật thực tế để phát triển các trợ lý AI thực tế có hành vi đáng tin cậy. Bằng cách làm mịn các sự không nhất quán trong phản hồi của con người, các chính sách WARM có thể vẫn đồng bộ một cách mạnh mẽ với các giá trị của con người ngay cả khi chúng tiếp tục học hỏi từ các trải nghiệm mới.

Tổng quan Lớn hơn

WARM nằm ở giao điểm của hai xu hướng chính trong nghiên cứu đồng bộ hóa AI. Đầu tiên là nghiên cứu về tổng quát hóa ngoài phân phối (OOD), nhằm mục đích tăng cường hiệu suất của mô hình trên dữ liệu mới khác với phân phối đào tạo. Thứ hai là nghiên cứu về tính bền vững của thuật toán, tập trung vào độ tin cậy bất chấp các nhiễu đầu vào nhỏ hoặc nhiễu.

Bằng cách kết nối các lĩnh vực này xung quanh khái niệm về các bất biến được học, WARM đưa chúng ta đến gần hơn với các kỹ thuật căn cứ một cách nghiêm ngặt hơn cho việc đồng bộ hóa giá trị. Những hiểu biết từ WARM có thể khái quát hóa thậm chí ngoài RLHF, cung cấp các bài học cho các hệ thống học máy rộng lớn hơn tương tác với thế giới mở.

Tất nhiên, mô hình phần thưởng chỉ là một phần của câu đố đồng bộ hóa. Chúng ta vẫn cần tiến bộ trên các thách thức khác như quy định phần thưởng, giám sát có thể mở rộng, và khám phá an toàn. Kết hợp với các kỹ thuật bổ sung, WARM có thể tăng tốc sự phát triển của AI thúc đẩy bền vững sự thịnh vượng của con người. Bằng cách làm sáng tỏ các nguyên tắc cơ bản của sự đồng bộ hóa mạnh mẽ, các nhà nghiên cứu đang vạch ra con đường đến AI có lợi và đạo đức.