Nhắc nhở tương tự và bước lùi: Đi sâu vào những tiến bộ gần đây của Google DeepMind

Giới thiệu

Kỹ thuật nhắc nhở tập trung vào việc đưa ra các lời nhắc hiệu quả để hướng dẫn Mô hình ngôn ngữ lớn (LLM) chẳng hạn như GPT-4 trong việc tạo ra phản hồi mong muốn. Lời nhắc được soạn thảo kỹ lưỡng có thể tạo nên sự khác biệt giữa một câu trả lời mơ hồ hoặc không chính xác và một câu trả lời chính xác, sâu sắc.

Trong hệ sinh thái AI rộng lớn hơn, kỹ thuật nhắc nhở là một trong một số phương pháp được sử dụng để trích xuất thông tin chính xác hơn và phù hợp với ngữ cảnh hơn từ các mô hình ngôn ngữ. Các kỹ thuật khác bao gồm các kỹ thuật như học vài lần, trong đó mô hình được đưa ra một số ví dụ để giúp nó hiểu nhiệm vụ và tinh chỉnh, trong đó mô hình được đào tạo thêm trên một tập dữ liệu nhỏ hơn để chuyên môn hóa các phản hồi của nó.

Google DeepMind gần đây đã xuất bản hai bài báo đi sâu vào kỹ thuật nhanh chóng và tiềm năng của nó để nâng cao khả năng ứng phó trong nhiều tình huống.

Các bài viết này là một phần trong quá trình khám phá đang diễn ra trong cộng đồng AI nhằm tinh chỉnh và tối ưu hóa cách chúng ta giao tiếp với các mô hình ngôn ngữ, đồng thời cung cấp những hiểu biết mới về cấu trúc lời nhắc để xử lý truy vấn và tương tác cơ sở dữ liệu tốt hơn.

Bài viết này đi sâu vào chi tiết của các tài liệu nghiên cứu này, làm sáng tỏ các khái niệm, phương pháp và ý nghĩa của các kỹ thuật được đề xuất, giúp những độc giả có kiến ​​thức hạn chế về AI và NLP có thể tiếp cận nó.

Bài 1: Các mô hình ngôn ngữ lớn như những nhà lập luận tương tự

Bài viết đầu tiên, có tựa đề “Các mô hình ngôn ngữ lớn như những nhà lý luận tương tự”, giới thiệu một phương pháp gợi ý mới có tên là Gợi ý tương tự. Các tác giả Michihiro Yasunaga, Xinyun Chen và những người khác lấy cảm hứng từ lý luận loại suy—một quá trình nhận thức trong đó con người tận dụng những kinh nghiệm trong quá khứ để giải quyết các vấn đề mới.

Các khái niệm và phương pháp chính

Nhắc nhở tương tự khuyến khích LLM tự tạo ra các ví dụ hoặc kiến ​​thức có liên quan trong ngữ cảnh trước khi tiến hành giải quyết một vấn đề nhất định. Cách tiếp cận này loại bỏ sự cần thiết của các mẫu được dán nhãn, mang lại tính tổng quát và thuận tiện, đồng thời điều chỉnh các mẫu được tạo ra cho phù hợp với từng vấn đề cụ thể, đảm bảo khả năng thích ứng.

Mẫu tự tạo

Kỹ thuật đầu tiên được trình bày trong bài báo là các mẫu tự tạo. Ý tưởng là tận dụng kiến ​​thức sâu rộng mà LLM đã có được trong quá trình đào tạo để giúp họ giải quyết các vấn đề mới. Quá trình này bao gồm việc tăng cường một vấn đề mục tiêu bằng các hướng dẫn nhắc mô hình nhớ lại hoặc tạo ra các vấn đề và giải pháp liên quan.

Ví dụ, khi đưa ra một vấn đề, mô hình được hướng dẫn nhớ lại ba vấn đề riêng biệt và có liên quan, mô tả chúng và giải thích giải pháp của chúng. Quá trình này được thiết kế để thực hiện trong một lần duy nhất, cho phép LLM tạo ra các ví dụ có liên quan và giải quyết vấn đề ban đầu một cách liền mạch. Việc sử dụng ký hiệu '#' trong lời nhắc giúp cấu trúc câu trả lời, giúp mô hình có tổ chức hơn và dễ làm theo hơn.

Các quyết định kỹ thuật quan trọng được nêu bật trong bài viết bao gồm việc nhấn mạnh vào việc tạo ra các mẫu phù hợp và đa dạng, áp dụng phương pháp tiếp cận một lần để thuận tiện hơn và nhận thấy rằng việc tạo ra ba đến năm mẫu mang lại kết quả tốt nhất.

Kiến thức tự tạo + Ví dụ

Kỹ thuật thứ hai, kiến ​​thức tự tạo + ví dụ, được giới thiệu để giải quyết các thách thức trong các nhiệm vụ phức tạp hơn, chẳng hạn như tạo mã. Trong những tình huống này, LLM có thể dựa quá mức vào các mẫu cấp độ thấp và gặp khó khăn trong việc khái quát hóa khi giải quyết các vấn đề mục tiêu. Để giảm thiểu điều này, các tác giả đề xuất tăng cường lời nhắc bằng một hướng dẫn bổ sung nhằm khuyến khích mô hình xác định các khái niệm cốt lõi trong vấn đề và cung cấp hướng dẫn hoặc bài học rút ra ở cấp độ cao.

Một vấn đề cần cân nhắc quan trọng là thứ tự mà kiến ​​thức và các ví dụ được tạo ra. Các tác giả nhận thấy rằng việc tạo ra kiến ​​thức trước các ví dụ sẽ dẫn đến kết quả tốt hơn, vì nó giúp LLM tập trung vào các phương pháp giải quyết vấn đề cơ bản thay vì chỉ những điểm tương đồng ở cấp độ bề mặt.

Ưu điểm và Ứng dụng

Cách tiếp cận gợi ý tương tự mang lại một số lợi ích. Nó cung cấp các ví dụ chi tiết về lý luận mà không cần gắn nhãn thủ công, giải quyết các thách thức liên quan đến phương pháp chuỗi suy nghĩ (CoT) 0 lần bắn và ít lần bắn. Ngoài ra, các mẫu được tạo ra sẽ được điều chỉnh cho phù hợp với từng vấn đề riêng lẻ, cung cấp hướng dẫn phù hợp hơn so với CoT chụp vài lần truyền thống vốn sử dụng các mẫu cố định.

Bài viết chứng minh tính hiệu quả của phương pháp này trong nhiều nhiệm vụ lý luận khác nhau, bao gồm giải toán, tạo mã và các nhiệm vụ lý luận khác trong BIG-Bench.

Trong bảng thứ hai, đối với các mẫu GPT3.5-turbo-16k và GPT4, “Kiến thức tự tạo + Mẫu” cho thấy hiệu suất tốt nhất.

Bài 2: Lùi lại một bước: Khơi dậy lý luận thông qua tính trừu tượng trong các mô hình ngôn ngữ lớn

Giới thiệu chung

Tờ báo thứ hai, “Lùi lại một bước: Gợi lên lý luận thông qua tính trừu tượng trong các mô hình ngôn ngữ lớn” trình bày Nhắc nhở bước lùi, một kỹ thuật khuyến khích LLM trừu tượng hóa các khái niệm cấp cao và nguyên tắc đầu tiên từ các trường hợp chi tiết. Các tác giả, Huaixiu Steven Zheng, Swaroop Mishra và những người khác nhằm mục đích cải thiện khả năng suy luận của LLM bằng cách hướng dẫn họ đi theo con đường lý luận chính xác để tìm ra giải pháp.

Hãy tạo một ví dụ đơn giản hơn bằng cách sử dụng một câu hỏi toán học cơ bản để minh họa kỹ thuật “Câu hỏi lùi bước”:

Original Question: If a train travels at a speed of 60 km/h and covers a distance of 120 km, how long will it take?

Options:

3 hours
2 hours
1 hour
4 hours
Original Answer [Incorrect]: The correct answer is 1).

Stepback Question: What is the basic formula to calculate time given speed and distance?

Principles:
To calculate time, we use the formula:
Time = Distance / Speed

Final Answer:
Using the formula, Time = 120 km / 60 km/h = 2 hours.
The correct answer is 2) 2 hours.

Mặc dù LLM ngày nay có thể dễ dàng trả lời câu hỏi trên, nhưng ví dụ này chỉ để minh họa kỹ thuật lùi bước sẽ hoạt động như thế nào. Đối với những tình huống khó khăn hơn, kỹ thuật tương tự có thể được áp dụng để mổ xẻ và giải quyết vấn đề một cách có hệ thống. Dưới đây là một trường hợp phức tạp hơn được trình bày trong bài báo:

Các khái niệm và phương pháp chính

Bản chất của Nhắc lùi bước nằm ở khả năng khiến LLM lùi lại một bước ẩn dụ, khuyến khích họ nhìn vào bức tranh toàn cảnh hơn là đi vào chi tiết. Điều này đạt được thông qua một loạt lời nhắc được soạn thảo cẩn thận nhằm hướng dẫn LLM đến thông tin trừu tượng, rút ​​ra các khái niệm cấp cao và áp dụng các khái niệm này để giải quyết vấn đề nhất định.

Quá trình bắt đầu với việc LLM được nhắc tóm tắt các chi tiết trừu tượng từ các trường hợp nhất định, khuyến khích nó tập trung vào các khái niệm và nguyên tắc cơ bản. Bước này rất quan trọng vì nó tạo tiền đề cho LLM tiếp cận vấn đề từ góc độ sáng suốt và nguyên tắc hơn.

Khi các khái niệm cấp cao được rút ra, chúng sẽ được sử dụng để hướng dẫn LLM qua các bước suy luận để tìm ra giải pháp. Hướng dẫn này đảm bảo rằng LLM luôn đi đúng hướng, đi theo con đường hợp lý và mạch lạc dựa trên các khái niệm và nguyên tắc trừu tượng.

Các tác giả tiến hành một loạt thử nghiệm để xác thực tính hiệu quả của Nhắc lùi bước, sử dụng mô hình PaLM-2L cho một loạt các nhiệm vụ đòi hỏi nhiều thách thức về lý luận. Các nhiệm vụ này bao gồm các vấn đề STEM, QA kiến ​​thức và Lý luận nhiều bước, cung cấp nền tảng thử nghiệm toàn diện để đánh giá kỹ thuật.

Cải tiến đáng kể qua các nhiệm vụ

Kết quả rất ấn tượng, với tính năng Nhắc lùi bước giúp tăng hiệu suất đáng kể trên tất cả các tác vụ. Ví dụ, kỹ thuật này cải thiện hiệu suất PaLM-2L trên Vật lý và Hóa học MMLU lần lượt là 7% và 11%. Tương tự, nó tăng hiệu suất trên TimeQA lên 27% và trên MuSiQue thêm 7%.

Những kết quả này nhấn mạnh tiềm năng của Nhắc lùi bước trong việc nâng cao đáng kể khả năng suy luận của LLM.

Kết luận

Cả hai bài viết của Google DeepMind đều trình bày những cách tiếp cận sáng tạo đối với kỹ thuật nhanh chóng, nhằm nâng cao khả năng suy luận của các mô hình ngôn ngữ lớn. Gợi ý tương tự tận dụng khái niệm lý luận tương tự, khuyến khích các mô hình tạo ra các ví dụ và kiến ​​thức của riêng chúng, dẫn đến khả năng giải quyết vấn đề dễ thích ứng và hiệu quả hơn. Mặt khác, Step-Back Nhắc nhở tập trung vào tính trừu tượng, hướng dẫn người mẫu rút ra các khái niệm và nguyên tắc cấp cao, từ đó cải thiện khả năng suy luận của họ.

Những tài liệu nghiên cứu này cung cấp những hiểu biết sâu sắc và phương pháp có giá trị có thể được áp dụng trên nhiều lĩnh vực khác nhau, dẫn đến các mô hình ngôn ngữ thông minh và có khả năng hơn. Khi chúng tôi tiếp tục khám phá và hiểu rõ sự phức tạp của kỹ thuật nhanh chóng, những phương pháp tiếp cận này đóng vai trò là bước đệm quan trọng để đạt được các hệ thống AI phức tạp và tiên tiến hơn.