Tương tự & Hồi quy: Một Cuộc Khám phá về Những Phát triển Gần đây của Google DeepMind

Giới thiệu

Kỹ thuật tạo lời nhắc tập trung vào việc tạo ra các lời nhắc hiệu quả để hướng dẫn các mô hình ngôn ngữ lớn (LLM) như GPT-4 tạo ra các phản hồi mong muốn. Một lời nhắc được tạo ra tốt có thể là sự khác biệt giữa một câu trả lời mơ hồ hoặc không chính xác và một câu trả lời chính xác, sâu sắc.

Trong hệ sinh thái rộng lớn của AI, kỹ thuật tạo lời nhắc là một trong nhiều phương pháp được sử dụng để trích xuất thông tin chính xác và liên quan hơn từ các mô hình ngôn ngữ. Các phương pháp khác bao gồm các kỹ thuật như học ít mẫu, nơi mô hình được cung cấp một số ví dụ để giúp nó hiểu nhiệm vụ, và tinh chỉnh, nơi mô hình được đào tạo thêm trên một tập dữ liệu nhỏ hơn để chuyên môn hóa phản hồi của nó.

Google DeepMind (GOOGL ) đã xuất bản hai bài báo gần đây về kỹ thuật tạo lời nhắc và tiềm năng của nó trong việc nâng cao phản hồi trên nhiều tình huống.

Các bài báo này là một phần của quá trình khám phá liên tục trong cộng đồng AI để tinh chỉnh và tối ưu hóa cách chúng ta giao tiếp với các mô hình ngôn ngữ, và chúng cung cấp những hiểu biết mới về cấu trúc lời nhắc cho việc xử lý truy vấn và tương tác cơ sở dữ liệu tốt hơn.

Bài viết này sẽ đi sâu vào chi tiết của các bài báo nghiên cứu này, làm rõ các khái niệm, phương pháp và ý nghĩa của các kỹ thuật được đề xuất, giúp cho cả những người đọc có kiến thức hạn chế về AI và NLP cũng có thể hiểu.

Bài báo 1: Các Mô hình Ngôn ngữ Lớn như Những Người Lý luận Tương tự

Bài báo đầu tiên, với tiêu đề “Các Mô hình Ngôn ngữ Lớn như Những Người Lý luận Tương tự”, giới thiệu một phương pháp tạo lời nhắc mới gọi là Tương tự Prompting. Các tác giả, Michihiro Yasunaga, Xinyun Chen và những người khác, lấy cảm hứng từ lý luận tương tự – một quá trình nhận thức nơi con người tận dụng kinh nghiệm trong quá khứ để giải quyết các vấn đề mới.

Khái niệm và Phương pháp Chính

Tương tự Prompting khuyến khích LLM tự tạo ra các ví dụ hoặc kiến thức liên quan trong ngữ cảnh trước khi giải quyết một vấn đề nhất định. Phương pháp này loại bỏ nhu cầu về các ví dụ được gắn nhãn, cung cấp tính tổng quát và tiện lợi, và điều chỉnh các ví dụ được tạo ra cho từng vấn đề cụ thể, đảm bảo tính thích ứng.

Trái: Các phương pháp tạo lời nhắc truyền thống phụ thuộc vào đầu vào chung (0-shot CoT) hoặc đòi hỏi các ví dụ được gắn nhãn (few-shot CoT). Phải: Phương pháp mới khuyến khích LLM tự tạo ra các ví dụ liên quan trước khi giải quyết vấn đề, loại bỏ nhu cầu về việc gắn nhãn và tùy chỉnh ví dụ cho từng vấn đề

Ví dụ Tự tạo

Kỹ thuật đầu tiên được trình bày trong bài báo là ví dụ tự tạo. Ý tưởng là tận dụng kiến thức rộng lớn mà LLM đã thu được trong quá trình đào tạo để giúp chúng giải quyết các vấn đề mới. Quá trình này liên quan đến việc bổ sung một vấn đề đích với các hướng dẫn khuyến khích mô hình nhớ lại hoặc tạo ra các vấn đề và giải pháp liên quan.

Ví dụ, khi đưa ra một vấn đề, mô hình được hướng dẫn nhớ lại ba vấn đề khác nhau và liên quan, mô tả chúng và giải thích các giải pháp. Quá trình này được thiết kế để thực hiện trong một lần, cho phép LLM tạo ra các ví dụ liên quan và giải quyết vấn đề ban đầu một cách liền mạch. Việc sử dụng các ký hiệu ‘#’ trong lời nhắc giúp cấu trúc phản hồi, làm cho nó trở nên có tổ chức và dễ dàng hơn cho mô hình để theo dõi.

Các quyết định kỹ thuật chính được nhấn mạnh trong bài báo bao gồm việc nhấn mạnh vào việc tạo ra các ví dụ liên quan và đa dạng, việc áp dụng phương pháp một lần cho sự tiện lợi lớn hơn, và việc phát hiện ra rằng tạo ra từ ba đến năm ví dụ mang lại kết quả tốt nhất.

Kiến thức và Ví dụ Tự tạo

Kỹ thuật thứ hai, kiến thức và ví dụ tự tạo, được giới thiệu để giải quyết các thách thức trong các nhiệm vụ phức tạp hơn, chẳng hạn như tạo mã. Trong những tình huống này, LLM có thể quá phụ thuộc vào các ví dụ cấp thấp và gặp khó khăn trong việc khái quát hóa khi giải quyết vấn đề đích. Để giảm thiểu điều này, các tác giả đề xuất việc tăng cường lời nhắc với một hướng dẫn bổ sung khuyến khích mô hình xác định các khái niệm cốt lõi trong vấn đề và cung cấp một hướng dẫn hoặc thông tin cấp cao.

Một yếu tố quan trọng là thứ tự mà kiến thức và ví dụ được tạo ra. Các tác giả phát hiện ra rằng việc tạo ra kiến thức trước khi tạo ví dụ dẫn đến kết quả tốt hơn, vì nó giúp LLM tập trung vào các phương pháp giải quyết vấn đề cơ bản hơn là chỉ các tương đồng bề mặt.

Ưu điểm và Ứng dụng

Phương pháp tạo lời nhắc tương tự mang lại một số ưu điểm. Nó cung cấp các ví dụ chi tiết về lý luận mà không cần gắn nhãn thủ công, giải quyết các thách thức liên quan đến các phương pháp 0-shot và few-shot chain-of-thought (CoT). Ngoài ra, các ví dụ được tạo ra được tùy chỉnh cho từng vấn đề, cung cấp hướng dẫn liên quan hơn so với phương pháp few-shot CoT truyền thống, sử dụng các ví dụ cố định.

Bài báo chứng minh tính hiệu quả của phương pháp này trên nhiều nhiệm vụ lý luận, bao gồm giải toán, tạo mã và các nhiệm vụ lý luận khác trong BIG-Bench.

Bảng dưới đây trình bày các chỉ số hiệu suất của các phương pháp tạo lời nhắc khác nhau trên các kiến trúc mô hình khác nhau. Đáng chú ý, phương pháp “Ví dụ Tự tạo” nhất quán vượt trội so với các phương pháp khác về độ chính xác. Trong độ chính xác của GSM8K, phương pháp này đạt hiệu suất cao nhất trên mô hình PaLM2 với 81,7%. Tương tự, đối với độ chính xác của MATH, nó đứng đầu trên mô hình GPT3.5-turbo với 37,3%.

Hiệu suất trên các nhiệm vụ toán học, GSM8K và MATH

Trong bảng thứ hai, đối với các mô hình GPT3.5-turbo-16k và GPT4, “Kiến thức và Ví dụ Tự tạo” cho thấy hiệu suất tốt nhất.

Hiệu suất trên nhiệm vụ tạo mã Codeforces

Bài báo 2: Lùi lại: Khơi dậy Lý luận qua Tóm tắt trong Các Mô hình Ngôn ngữ Lớn

Tổng quan

Bài báo thứ hai, “Lùi lại: Khơi dậy Lý luận qua Tóm tắt trong Các Mô hình Ngôn ngữ Lớn“, trình bày kỹ thuật tạo lời nhắc Lùi lại, một kỹ thuật khuyến khích LLM tóm tắt các khái niệm cấp cao và nguyên tắc cơ bản từ các ví dụ chi tiết. Các tác giả, Huaixiu Steven Zheng, Swaroop Mishra và những người khác, nhằm mục đích cải thiện khả năng lý luận của LLM bằng cách hướng dẫn chúng theo một con đường lý luận chính xác đến giải pháp.

Minh họa kỹ thuật Lùi lại qua hai giai đoạn Tóm tắt và Lý luận, được điều khiển bởi các khái niệm và nguyên tắc chính.

Hãy tạo một ví dụ đơn giản hơn sử dụng một câu hỏi toán học cơ bản để minh họa kỹ thuật “Câu hỏi Lùi lại”:

Câu hỏi gốc: Nếu một tàu hỏa di chuyển với tốc độ 60 km/h và đi được quãng đường 120 km, thì nó sẽ mất bao lâu?

Lựa chọn:

3 giờ
2 giờ
1 giờ
4 giờ
Đáp án gốc [Không chính xác]: Đáp án chính xác là 1).

Câu hỏi Lùi lại: Công thức cơ bản để tính thời gian cho trước tốc độ và quãng đường là gì?

Nguyên tắc:
Để tính thời gian, chúng ta sử dụng công thức:
Thời gian = Quãng đường / Tốc độ

Đáp án cuối cùng:
Sử dụng công thức, Thời gian = 120 km / 60 km/h = 2 giờ.
Đáp án chính xác là 2) 2 giờ.

Mặc dù LLM hiện nay có thể dễ dàng trả lời câu hỏi trên, ví dụ này chỉ nhằm minh họa cách kỹ thuật lùi lại sẽ hoạt động. Đối với các tình huống thách thức hơn, kỹ thuật này có thể được áp dụng để phân tích và giải quyết vấn đề một cách hệ thống. Dưới đây là một trường hợp phức tạp hơn được trình bày trong bài báo:

Kỹ thuật Lùi lại trên tập dữ liệu MMLU-Chemistry

Khái niệm và Phương pháp Chính

Cốt lõi của kỹ thuật Lùi lại nằm ở khả năng của nó trong việc khiến LLM lùi lại, khuyến khích chúng nhìn vào bức tranh lớn hơn thay vì bị sa vào chi tiết. Điều này được thực hiện thông qua một loạt các lời nhắc được thiết kế cẩn thận, hướng dẫn LLM tóm tắt thông tin, suy ra các khái niệm cấp cao và áp dụng chúng để giải quyết vấn đề.

Quá trình bắt đầu với việc LLM được hướng dẫn tóm tắt chi tiết từ các ví dụ cho trước, khuyến khích nó tập trung vào các khái niệm và nguyên tắc cơ bản. Đây là bước quan trọng vì nó đặt nền tảng cho LLM tiếp cận vấn đề từ một góc nhìn thông tin và có nguyên tắc hơn.

Sau khi các khái niệm cấp cao được suy ra, chúng được sử dụng để hướng dẫn LLM qua các bước lý luận đến giải pháp. Sự hướng dẫn này đảm bảo rằng LLM ở trên đúng đường ray, theo một con đường logic và nhất quán được dựa trên các khái niệm và nguyên tắc đã tóm tắt.

Các tác giả thực hiện một loạt các thí nghiệm để xác thực tính hiệu quả của kỹ thuật Lùi lại, sử dụng mô hình PaLM-2L trên nhiều nhiệm vụ đòi hỏi lý luận. Những nhiệm vụ này bao gồm các vấn đề STEM, Câu hỏi Trí tuệ và Lý luận Đa bước, cung cấp một môi trường thử nghiệm toàn diện để đánh giá kỹ thuật.

Cải thiện đáng kể trên nhiều Nhiệm vụ

Kết quả thật ấn tượng, với kỹ thuật Lùi lại dẫn đến những cải thiện đáng kể về hiệu suất trên tất cả các nhiệm vụ. Ví dụ, kỹ thuật này cải thiện hiệu suất của mô hình PaLM-2L trên MMLU Physics và Chemistry lần lượt là 7% và 11%. Tương tự, nó tăng hiệu suất trên TimeQA lên 27% và trên MuSiQue lên 7%.

Hiệu suất của kỹ thuật Lùi lại so với CoT

Những kết quả này nhấn mạnh tiềm năng của kỹ thuật Lùi lại trong việc nâng cao đáng kể khả năng lý luận của LLM.

Kết luận

Cả hai bài báo từ Google DeepMind đều giới thiệu những phương pháp tiếp cận mới về kỹ thuật tạo lời nhắc, nhằm mục đích nâng cao khả năng lý luận của các mô hình ngôn ngữ lớn. Tương tự Prompting tận dụng khái niệm lý luận tương tự, khuyến khích mô hình tạo ra các ví dụ và kiến thức của riêng chúng, dẫn đến việc giải quyết vấn đề linh hoạt và hiệu quả hơn. Mặt khác, kỹ thuật Lùi lại tập trung vào tóm tắt, hướng dẫn mô hình suy ra các khái niệm cấp cao và nguyên tắc, từ đó cải thiện khả năng lý luận của chúng.

Các bài báo nghiên cứu này cung cấp những hiểu biết quý giá và phương pháp mà có thể được áp dụng trên nhiều lĩnh vực, dẫn đến việc tạo ra các mô hình ngôn ngữ thông minh và phức tạp hơn. Khi chúng ta tiếp tục khám phá và hiểu rõ hơn về những phức tạp của kỹ thuật tạo lời nhắc, những phương pháp này đóng vai trò là những bước tiến quan trọng hướng tới việc đạt được những hệ thống AI tiên tiến và tinh vi hơn.